性能优化手记:熔断 排查全过程
周二下午刚开完会,告警群就开始刷屏:订单服务调用商品服务的熔断器打开了,失败率一路飙到 60% 多。第一反应是商品服务是不是挂了,结果点进大盘一看,人家 CPU、GC、数据库连接池都挺正常,只有订单服务这边在疯狂报 TimeoutException。这种“下游没死、上游先熔断”的情况最烦人,因为熔断只是结果,根因还在别处。
先别急着调熔断阈值
我一开始也想过直接把 Sentinel 的慢调用比例阈值调高一点,或者把熔断时长从 10 秒改成 30 秒,先把告警压下去再说。但这种方式基本等于把体温计塞进冰水里,问题还在。于是先拉了一下最近两小时的指标:
sum(rate(http_client_requests_seconds_count{app="order-service",uri="/product/detail",status="500"}[1m]))
/
sum(rate(http_client_requests_seconds_count{app="order-service",uri="/product/detail"}[1m]))
失败率确实不是突然全部失败,而是从 1% 慢慢爬到 30%,然后熔断器打开,流量直接掉底。再看商品服务自己的接口 P99,只有 120ms 左右,和平时差不多。也就是说,商品服务整体没崩,但订单服务这边等不起了。
把链路和日志对上
随手抓了几个失败请求的 trace id,扔进 SkyWalking 里看,发现耗时并不是花在商品服务上,而是花在订单服务自己的线程池等待上。日志里对应的异常也很统一:
java.util.concurrent.TimeoutException: Did not observe any item or terminal signal within 800ms
到这一步基本能确定,不是下游接口突然变慢,而是订单服务调用商品的线程池排队了。继续翻日志,还看到少量 RejectedExecutionException,说明队列也快满了。之前这个线程池是大家随手配的:核心线程 10,最大线程 10,队列 1000,超时 800ms,拒绝策略是 AbortPolicy。平时 QPS 200 左右,平均耗时 80ms,看起来完全够用,但 P99 一抖动就开始积压。
线程池指标之前没人看
用 Arthas 挂上去看了一眼线程状态:
thread -n 20
发现 product-call-pool 的线程基本都在 WAITING,队列长度已经到 800 多。这里有个很容易忽略的点:线程池队列长度这个指标之前根本没进监控,大家只看接口 RT 和错误率。接口 RT 一高,熔断器就按规则打开,但没人知道 RT 高是因为线程在队列里排了 700ms。
后来把队列长度和活跃线程数补进 Prometheus,再回头看历史,发现每次熔断前 30 秒左右,队列长度都会先冲高。也就是说,熔断器其实在替线程池背锅。
下游真的没问题吗
虽然商品服务整体指标正常,但我还是不太放心,毕竟“整体正常”不代表“每个请求都正常”。让商品服务的同学帮忙查了一下慢 SQL,果然有一个 SKU 详情查询在特定条件下会走错索引,偶发 1 秒以上。比例不高,大概 5%,但订单服务这边线程池一排队,5% 的慢请求就能把队列拖满,然后超时、熔断、重试,一套组合拳下来,失败率就被放大了。
所以根因不是单一的:商品服务偶发慢查询 + 订单服务线程池隔离不合理 + 超时设置比 P99 还紧。
改配置之前先做隔离
直接调大线程池不是不行,但我不太想这么干。最后做了几件事:
- 给商品详情查询单独拆了一个线程池,核心 20、最大 40、队列 200,拒绝策略改成
CallerRunsPolicy,至少别当场把请求扔掉。 - 超时从 800ms 调到 1200ms,参考的是商品服务慢请求的 P99.9,不是拍脑袋。
- Sentinel 熔断规则从“慢调用比例”改成“异常比例 + 慢调用比例”组合,最小请求数从 20 调到 50,避免低流量时误熔断。
- 商品服务那边把慢 SQL 的索引补上,顺手加了个查询条件兜底。
配置大概长这样:
sentinel:
flow:
- resource: product-detail
grade: 1
count: 300
degrade:
- resource: product-detail
grade: 1
count: 0.5
timeWindow: 10
minRequestAmount: 50
statIntervalMs: 10000
验证和收尾
改完之后没有直接全量,先灰度了两个实例,用压测工具模拟了 5% 的慢请求:
wrk -t8 -c200 -d120s --latency \
-s slow_product.lua \
http://order-service/order/preview
对比下来,熔断次数从每分钟十几次降到 0,P99 从 1.8s 回到 400ms 左右。队列长度也稳在 50 以下。到这里才算敢继续放量。
复盘的时候我记了一笔:熔断器不是用来“扛住”下游慢的,它只是保护调用方不被拖死。真正该看的是调用方自己的线程池、队列、超时和重试。下次再看到熔断告警,先别动熔断阈值,先去看看排队排在哪。
评论
还没有评论。
发表评论
提交后评论将经过自动审核,审核通过后公开展示。