微服务架构下 优雅停机 的设计与权衡
先说一个翻车的场景
有次凌晨发版,改了一个订单状态相关的逻辑,rolling update 一路绿灯,结果第二天早上发现丢了十几笔订单。查了半天没在业务代码里找到问题,最后把时间线对了一遍才发现:老 pod 被 k8s 干掉的那一刹那,正好还有几个请求在写数据库,事务没提交,进程直接没了。更骚的是,业务代码里那个 @Transactional 也没救回来,因为进程是被 SIGTERM 直接送走的。
所以说,优雅停机这玩意儿,平时不显山不露水,一旦翻车就是真金白银。但我也见过另一种极端,一个内部定时任务服务,配置了 60 秒的优雅停机窗口,每天发版都得多等一分钟,纯属给自己找罪受。这篇文章就来聊聊这块的设计和取舍。
优雅停机到底在等什么
说白了,优雅停机就是进程在被干掉之前,主动完成三件事:停止接收新流量、处理完手头的活、释放掉持有的资源。听起来简单,但每一步都有坑。
第一件事就不好做。因为“停止接收新流量”这个动作,不是服务自己说了算的,得依赖上游的注册中心或者负载均衡。k8s 的环境里,pod 收到 SIGTERM 的同时,endpoint 也会从 service 上摘掉,但这两件事是异步的,网络设备的转发表更新还有延迟。经常出现的情况是:你的进程已经开始关连接了,流量还在源源不断打进来,于是直接 502。
所以比较稳妥的做法是在 preStop hook 里先 sleep 一段时间,等 endpoint 摘除生效,再让进程收到 SIGTERM。这个时间一般给 5 到 15 秒,具体看你集群的网络收敛速度。我在好几套环境里都见过这个教训:只要配置了 preStop sleep,发版期间的错误率能降一个数量级。
lifecycle:
preStop:
exec:
command: ["/bin/sh", "-c", "sleep 10"]
terminationGracePeriodSeconds: 40
这里的 terminationGracePeriodSeconds 是整个停机窗口的总时长,从收到 SIGTERM 开始算,包括 preStop 那段。所以如果 preStop sleep 了 10 秒,留给应用自己收尾的时间就只有 30 秒。这个数设置得比应用最长请求耗时大一些就行,不要不管三七二十一全给 300 秒,白白拖慢发版节奏。
应用层要做的几件事
框架层现在基本都支持了。Spring Boot 从 2.3 开始有 server.shutdown=graceful,配合 spring.lifecycle.timeout-per-shutdown-phase 控制等待时长。Go 的话自己监听信号,然后 server.Shutdown(ctx),Node 就是 server.close()。原理都差不多,就是别让进程在收到 SIGTERM 的时候直接跑路。
但光有框架还不够。真正容易出问题的是那些“后台线程”和“连接池”:
- 消息队列消费者要停止拉新消息,把手里的消息 ack 完再关。RocketMQ 和 Kafka 客户端一般都有
shutdown()方法,得显式调。 - 数据库连接池要等正在执行的事务提交完,别让
pool.close()把还在用的 connection 强行关了。 - 定时任务调度器要停止调度,正在跑的任务要么等它跑完,要么至少能记录到检查点。
- HTTP 客户端的连接池、Redis 连接、gRPC channel,这些都得有顺序地关,不能一把梭。
我见过比较优雅的写法是给每个资源写一个 shutdown hook,按依赖顺序注册,让 JVM 或者框架按倒序执行。但不要依赖 Runtime.addShutdownHook 本身去阻塞太久,因为 JVM 对 hook 的总时长没硬性保证,绕不开 terminationGracePeriodSeconds 的限制。
几个容易踩的坑
注册中心注销时机。如果你的服务同时用了 k8s service 和 Nacos/Eureka 这类注册中心,那上线摘流量的路径就有两条,得保证两条都摘干净了再关进程。见过有人只顾着 k8s endpoint,结果 Nacos 那边还有心跳,流量照样进来。
健康检查探针。readinessProbe 在优雅停机期间应该尽快返回失败,让上游别再往这送流量。Spring Boot 的 grace shutdown 会自动把 readiness 状态置为 REFUSING_TRAFFIC,但如果你自己实现了 /health 接口,得手动处理这个状态。
有状态服务。状态机、定时任务、带本地缓存的节点,这些不能按无状态服务的套路来。特别是 leader election 类的服务,停机之前应该主动 release lease,别让其他节点干等一个租约过期。
长连接。WebSocket、gRPC stream 这类长连接,优雅停机意味着要主动给客户端发关闭帧,让客户端重连。这个动作得做,否则客户端会僵在那儿等超时。
权衡:不是所有服务都值得折腾
写到这儿得泼点冷水。优雅停机是有成本的:发版变慢、配置变多、测试变复杂。所以我的建议是分场景:
- 核心链路(订单、支付、写操作)必须做,而且要专门写测试用例验证。
- 纯读服务可以简化,只要框架默认的 grace shutdown 开着就行,preStop sleep 短一点。
- 内部工具、定时任务、一次性 job,不用太纠结,给个几秒钟意思意思就够了。
- 灰度环境如果能接受偶发错误,甚至可以关掉,省得调试的时候每次重启都卡半天。
还有一个取舍是停机窗口的时长。给 30 秒能覆盖 99% 的请求,给 60 秒能覆盖 99.9%,再往上边际收益就很低了。与其无脑加大窗口,不如把超时链路梳理清楚,让每个下游调用的 timeout 都比停机窗口短,这样靠上游的重试机制兜底,比死等更靠谱。
最后说一句,优雅停机这事儿最怕的就是“我以为配了”。配置写完,一定要找个测试环境真的发一次版,观察一下日志里的 shutdown 顺序、连接数变化、错误率曲线。纸面上看着对的东西,跑起来经常不是那么回事。
评论
还没有评论。
发表评论
提交后评论将经过自动审核,审核通过后公开展示。