优雅停机 的十种打开方式:工程实践笔记
先扯两句
上周发版,服务重启的时候被用户投诉了两次。一次是刚好在扣款,请求打到一半连接被重置,用户以为没付成功又点了一遍;另一次是日志里一堆 connection reset by peer,排查了半天发现是停机时没等异步任务跑完。从那以后我把“优雅停机”这几个字贴在了显示器边上。下面这十种方式是我在几个项目里实际用过的,有的简单粗暴,有的稍微麻烦点,按需取用。
方式一:老老实实捕获 SIGTERM
最基础的一步。Spring Boot 自带了 server.shutdown=graceful,但很多自研框架没有。我习惯在 main 里直接挂个钩子:
import signal, sys, time
def handle_sigterm(signum, frame):
print("收到 SIGTERM,准备停机...")
# 把全局的 shutdown_flag 置位
app_state.shutting_down = True
# 给正在处理的请求留点时间
time.sleep(5)
sys.exit(0)
signal.signal(signal.SIGTERM, handle_sigterm)
注意别只处理 SIGINT——系统发的是 SIGTERM。
方式二:给所有请求加一个硬超时兜底
优雅停机最怕“等太久”。之前有个服务里有个阻塞队列,停机时一直等一个卡住的调用,结果十秒后直接被 SIGKILL,比不优雅还惨。后来我给停机流程加了个全局超时:
# 用 timeout 包住整个停机脚本
timeout 30s ./graceful-shutdown.sh
代码里也用 Thread.join(timeout=10),超时就强制关。
方式三:连接排空,先摘流量再关端口
这一招在 Nginx 后面很管用。你直接把进程 kill 掉,已经建立的 TCP 连接会立刻断。正确做法是:
# 在 upstream 里标记节点 down,然后等 30 秒再发重启命令
# 或者用 curl 调管理接口把节点权重调成 0
curl -X POST http://lb-admin/disable?node=10.0.0.12
sleep 30
kill -TERM $(pidof myapp)
那 30 秒是让负载均衡器把新请求转走,老请求自然结束。
方式四:配合 K8s 的 preStop hook
在 K8s 里别指望容器收到 SIGTERM 就能马上停下来——kube-proxy 更新 iptables 有延迟。我一般这么写:
lifecycle:
preStop:
exec:
command: ["/bin/sh", "-c", "sleep 5"]
这五秒是用来等 Service 的 Endpoints 摘除。没有这五秒,流量还会往旧 Pod 打。
方式五:把 readiness 探针先关掉
如果服务有 /healthz 接口,在收到 SIGTERM 时先把 readiness 探针返回 503,而不是直接退出。这样一来,K8s 或者 consul 会先把你的实例从可用列表里摘掉,但进程还活着,能继续处理存量请求。等个十来秒没人调用了,再真正关 listen 端口。
方式六:线程池别用 shutdownNow
ExecutorService.shutdownNow() 会中断正在跑的任务,往往搞出半截事务。我的用法:
executor.shutdown(); // 不再接新任务
if (!executor.awaitTermination(15, TimeUnit.SECONDS)) {
log.warn("线程池超时,强制关闭");
executor.shutdownNow();
}
先给 15 秒让老任务跑完,超时再强杀。强杀前记得打印一下还在跑的任务数,方便复盘。
方式七:数据库连接池关之前确认事务都提交了
HikariCP 默认在 JVM 退出时会关连接,但如果你有异步事务还没 commit,直接关就丢了。我习惯在停机钩子里先调一次 TransactionSynchronizationManager.getActiveTransactionCount(),等几秒确认归零,再 dataSource.close()。没归零就打个 error 日志,至少能查。
方式八:消息队列消费者先停拉取,再 ack 在途消息
用 Kafka 的时候,consumer.wakeup() 能中断 poll,但你已经拉下来的消息还在内存里。正确顺序:
- 调
consumer.pause(partitions)停止新数据 - 处理完手头这批(循环 poll 直到
records.isEmpty()) - 手动提交 offset
- 再
consumer.close()
别直接 consumer.close(),否则会触发 rebalance,其他消费者接手后可能重复消费。
方式九:负载均衡器摘除后等一下,再发信号
这条和第三条有点像,但场景不同:如果你用云厂商的 SLB,停止实例时它可能瞬间断连。我一般写个脚本:
# 1. 从 SLB 移出
aliyun slb RemoveBackendServers ...
# 2. 等 20 秒(让 SLB 的会话保持失效)
sleep 20
# 3. 发 SIGTERM
kill -TERM $(cat /var/run/myapp.pid)
时间别省,尤其是长连接场景。
方式十:日志和监控的最后一次 flush
有一次停机后监控图上出现一个陡峭的空档,原因就是 buffer 里的指标没来得及上报。后来我在停机钩子末尾加了:
defer func() {
prometheus.DefaultRegisterer.Unregister(allCollectors...)
log.Flush()
time.Sleep(2 * time.Second)
}()
两秒不多,但能让最后一批日志和 metrics 落盘或发出。别小看这两秒,排障时那几行日志就是命。
最后留一句
这些招不用全上,挑适合你架构的。我最常用的组合是:K8s preStop 睡 5 秒 + readiness 置 false + 线程池等 15 秒 + 日志 flush。剩下的按场景加。停机这事儿跟系安全带一样——平时觉不着,出事的时候能少赔点钱。
评论
还没有评论。
发表评论
提交后评论将经过自动审核,审核通过后公开展示。