小Cの已经记不起来的博客

微服务架构下 优雅停机 的设计与权衡

先说一个翻车的场景

有次凌晨发版,改了一个订单状态相关的逻辑,rolling update 一路绿灯,结果第二天早上发现丢了十几笔订单。查了半天没在业务代码里找到问题,最后把时间线对了一遍才发现:老 pod 被 k8s 干掉的那一刹那,正好还有几个请求在写数据库,事务没提交,进程直接没了。更骚的是,业务代码里那个 @Transactional 也没救回来,因为进程是被 SIGTERM 直接送走的。

所以说,优雅停机这玩意儿,平时不显山不露水,一旦翻车就是真金白银。但我也见过另一种极端,一个内部定时任务服务,配置了 60 秒的优雅停机窗口,每天发版都得多等一分钟,纯属给自己找罪受。这篇文章就来聊聊这块的设计和取舍。

优雅停机到底在等什么

说白了,优雅停机就是进程在被干掉之前,主动完成三件事:停止接收新流量、处理完手头的活、释放掉持有的资源。听起来简单,但每一步都有坑。

第一件事就不好做。因为“停止接收新流量”这个动作,不是服务自己说了算的,得依赖上游的注册中心或者负载均衡。k8s 的环境里,pod 收到 SIGTERM 的同时,endpoint 也会从 service 上摘掉,但这两件事是异步的,网络设备的转发表更新还有延迟。经常出现的情况是:你的进程已经开始关连接了,流量还在源源不断打进来,于是直接 502。

所以比较稳妥的做法是在 preStop hook 里先 sleep 一段时间,等 endpoint 摘除生效,再让进程收到 SIGTERM。这个时间一般给 5 到 15 秒,具体看你集群的网络收敛速度。我在好几套环境里都见过这个教训:只要配置了 preStop sleep,发版期间的错误率能降一个数量级。

lifecycle:
  preStop:
    exec:
      command: ["/bin/sh", "-c", "sleep 10"]
terminationGracePeriodSeconds: 40

这里的 terminationGracePeriodSeconds 是整个停机窗口的总时长,从收到 SIGTERM 开始算,包括 preStop 那段。所以如果 preStop sleep 了 10 秒,留给应用自己收尾的时间就只有 30 秒。这个数设置得比应用最长请求耗时大一些就行,不要不管三七二十一全给 300 秒,白白拖慢发版节奏。

应用层要做的几件事

框架层现在基本都支持了。Spring Boot 从 2.3 开始有 server.shutdown=graceful,配合 spring.lifecycle.timeout-per-shutdown-phase 控制等待时长。Go 的话自己监听信号,然后 server.Shutdown(ctx),Node 就是 server.close()。原理都差不多,就是别让进程在收到 SIGTERM 的时候直接跑路。

但光有框架还不够。真正容易出问题的是那些“后台线程”和“连接池”:

我见过比较优雅的写法是给每个资源写一个 shutdown hook,按依赖顺序注册,让 JVM 或者框架按倒序执行。但不要依赖 Runtime.addShutdownHook 本身去阻塞太久,因为 JVM 对 hook 的总时长没硬性保证,绕不开 terminationGracePeriodSeconds 的限制。

几个容易踩的坑

注册中心注销时机。如果你的服务同时用了 k8s service 和 Nacos/Eureka 这类注册中心,那上线摘流量的路径就有两条,得保证两条都摘干净了再关进程。见过有人只顾着 k8s endpoint,结果 Nacos 那边还有心跳,流量照样进来。

健康检查探针。readinessProbe 在优雅停机期间应该尽快返回失败,让上游别再往这送流量。Spring Boot 的 grace shutdown 会自动把 readiness 状态置为 REFUSING_TRAFFIC,但如果你自己实现了 /health 接口,得手动处理这个状态。

有状态服务。状态机、定时任务、带本地缓存的节点,这些不能按无状态服务的套路来。特别是 leader election 类的服务,停机之前应该主动 release lease,别让其他节点干等一个租约过期。

长连接。WebSocket、gRPC stream 这类长连接,优雅停机意味着要主动给客户端发关闭帧,让客户端重连。这个动作得做,否则客户端会僵在那儿等超时。

权衡:不是所有服务都值得折腾

写到这儿得泼点冷水。优雅停机是有成本的:发版变慢、配置变多、测试变复杂。所以我的建议是分场景:

还有一个取舍是停机窗口的时长。给 30 秒能覆盖 99% 的请求,给 60 秒能覆盖 99.9%,再往上边际收益就很低了。与其无脑加大窗口,不如把超时链路梳理清楚,让每个下游调用的 timeout 都比停机窗口短,这样靠上游的重试机制兜底,比死等更靠谱。

最后说一句,优雅停机这事儿最怕的就是“我以为配了”。配置写完,一定要找个测试环境真的发一次版,观察一下日志里的 shutdown 顺序、连接数变化、错误率曲线。纸面上看着对的东西,跑起来经常不是那么回事。

评论

还没有评论。

发表评论

提交后评论将经过自动审核,审核通过后公开展示。

未在播放