小Cの已经记不起来的博客

优雅停机 的十种打开方式:工程实践笔记

先扯两句

上周发版,服务重启的时候被用户投诉了两次。一次是刚好在扣款,请求打到一半连接被重置,用户以为没付成功又点了一遍;另一次是日志里一堆 connection reset by peer,排查了半天发现是停机时没等异步任务跑完。从那以后我把“优雅停机”这几个字贴在了显示器边上。下面这十种方式是我在几个项目里实际用过的,有的简单粗暴,有的稍微麻烦点,按需取用。

方式一:老老实实捕获 SIGTERM

最基础的一步。Spring Boot 自带了 server.shutdown=graceful,但很多自研框架没有。我习惯在 main 里直接挂个钩子:

import signal, sys, time

def handle_sigterm(signum, frame):
    print("收到 SIGTERM,准备停机...")
    # 把全局的 shutdown_flag 置位
    app_state.shutting_down = True
    # 给正在处理的请求留点时间
    time.sleep(5)
    sys.exit(0)

signal.signal(signal.SIGTERM, handle_sigterm)

注意别只处理 SIGINT——系统发的是 SIGTERM。

方式二:给所有请求加一个硬超时兜底

优雅停机最怕“等太久”。之前有个服务里有个阻塞队列,停机时一直等一个卡住的调用,结果十秒后直接被 SIGKILL,比不优雅还惨。后来我给停机流程加了个全局超时:

# 用 timeout 包住整个停机脚本
timeout 30s ./graceful-shutdown.sh

代码里也用 Thread.join(timeout=10),超时就强制关。

方式三:连接排空,先摘流量再关端口

这一招在 Nginx 后面很管用。你直接把进程 kill 掉,已经建立的 TCP 连接会立刻断。正确做法是:

# 在 upstream 里标记节点 down,然后等 30 秒再发重启命令
# 或者用 curl 调管理接口把节点权重调成 0
curl -X POST http://lb-admin/disable?node=10.0.0.12
sleep 30
kill -TERM $(pidof myapp)

那 30 秒是让负载均衡器把新请求转走,老请求自然结束。

方式四:配合 K8s 的 preStop hook

在 K8s 里别指望容器收到 SIGTERM 就能马上停下来——kube-proxy 更新 iptables 有延迟。我一般这么写:

lifecycle:
  preStop:
    exec:
      command: ["/bin/sh", "-c", "sleep 5"]

这五秒是用来等 Service 的 Endpoints 摘除。没有这五秒,流量还会往旧 Pod 打。

方式五:把 readiness 探针先关掉

如果服务有 /healthz 接口,在收到 SIGTERM 时先把 readiness 探针返回 503,而不是直接退出。这样一来,K8s 或者 consul 会先把你的实例从可用列表里摘掉,但进程还活着,能继续处理存量请求。等个十来秒没人调用了,再真正关 listen 端口。

方式六:线程池别用 shutdownNow

ExecutorService.shutdownNow() 会中断正在跑的任务,往往搞出半截事务。我的用法:

executor.shutdown(); // 不再接新任务
if (!executor.awaitTermination(15, TimeUnit.SECONDS)) {
    log.warn("线程池超时,强制关闭");
    executor.shutdownNow();
}

先给 15 秒让老任务跑完,超时再强杀。强杀前记得打印一下还在跑的任务数,方便复盘。

方式七:数据库连接池关之前确认事务都提交了

HikariCP 默认在 JVM 退出时会关连接,但如果你有异步事务还没 commit,直接关就丢了。我习惯在停机钩子里先调一次 TransactionSynchronizationManager.getActiveTransactionCount(),等几秒确认归零,再 dataSource.close()。没归零就打个 error 日志,至少能查。

方式八:消息队列消费者先停拉取,再 ack 在途消息

用 Kafka 的时候,consumer.wakeup() 能中断 poll,但你已经拉下来的消息还在内存里。正确顺序:

  1. 调 consumer.pause(partitions) 停止新数据
  2. 处理完手头这批(循环 poll 直到 records.isEmpty())
  3. 手动提交 offset
  4. 再 consumer.close()

别直接 consumer.close(),否则会触发 rebalance,其他消费者接手后可能重复消费。

方式九:负载均衡器摘除后等一下,再发信号

这条和第三条有点像,但场景不同:如果你用云厂商的 SLB,停止实例时它可能瞬间断连。我一般写个脚本:

# 1. 从 SLB 移出
aliyun slb RemoveBackendServers ...
# 2. 等 20 秒(让 SLB 的会话保持失效)
sleep 20
# 3. 发 SIGTERM
kill -TERM $(cat /var/run/myapp.pid)

时间别省,尤其是长连接场景。

方式十:日志和监控的最后一次 flush

有一次停机后监控图上出现一个陡峭的空档,原因就是 buffer 里的指标没来得及上报。后来我在停机钩子末尾加了:

defer func() {
    prometheus.DefaultRegisterer.Unregister(allCollectors...)
    log.Flush()
    time.Sleep(2 * time.Second)
}()

两秒不多,但能让最后一批日志和 metrics 落盘或发出。别小看这两秒,排障时那几行日志就是命。

最后留一句

这些招不用全上,挑适合你架构的。我最常用的组合是:K8s preStop 睡 5 秒 + readiness 置 false + 线程池等 15 秒 + 日志 flush。剩下的按场景加。停机这事儿跟系安全带一样——平时觉不着,出事的时候能少赔点钱。

评论

还没有评论。

发表评论

提交后评论将经过自动审核,审核通过后公开展示。

未在播放