小Cの已经记不起来的博客

一次线上 鉴权体系 故障的复盘记录

下午两点二十多,群里开始有人丢截图,说 App 里所有接口都在转圈,点进去看后台返回 401。我第一反应是有人把测试环境的东西发布到线上了,打开监控看了一眼,鉴权入口的 401 比例从平时的 0.1% 左右,在十分钟里爬到 12%,而且还在往上走。这就不是个别用户的问题了。

第一反应:是不是有人在刷接口

先看来源 IP,非常分散,移动端 4G 的段居多,请求频率也不高,不像攻击。再看被拒的 token,随便抓一个出来解一下:

echo "$TOKEN" | cut -d. -f2 | base64 -d 2>/dev/null | jq .

payload 里 exp 还在两个小时以后,iss、aud 都对得上,kid 是新的。那按理说签名本身应该没问题,问题就出在验签这一侧了。

日志里的两类错误

把网关的日志拉出来按错误类型分组:

grep "verify token failed" /var/log/gateway/*.log | awk -F'err=' '{print $2}' | sort | uniq -c | sort -rn | head

结果就两类:

   8421 err="error while executing keyfunc: no key found for kid 8f3c..."
   1130 err="token is expired by 38.4s"

第一类是大头,第二类是个附带的小问题,后面再说。no key found for kid 翻译过来就是:token 头部里写着用哪个公钥来验,网关在自己缓存的 JWKS 里找不到这把公钥。

为什么找不到 kid

我们的 JWKS 缓存在网关进程里,TTL 是一个小时,只有到期才回源刷新一次,遇到不认识的 kid 不会主动去拉。而签发服务那边,运维同事下午两点十分左右做了一次密钥轮换,没有走变更流程,他觉得"就是换把钥匙"嘛。新的私钥签出来的 token,kid 自然变了,但网关这边缓存里还躺着旧的公钥,一验一个不吱声。

顺带一提,签发服务在轮换时只留了新私钥,旧私钥直接下线了,所以也没有"新旧并存宽限期"这种说法,老 token 被打回来也算合理,只是没人预料到网关压根不认新的。

先扛住

定位到问题已经两点四十了,最快的方式是让网关重新拉一次 JWKS。我们当初图省事,没做刷新接口,只能滚动重启。重启期间是有一小段错误的,但比继续拖着强。写了个脚本,一台一台来,间隔十秒,全量重启完大概两点五十,401 比例开始往下掉,三点回到 0.1% 附近。

事后想想,其实当时可以先临时在网关侧手动塞一份新 JWKS 进去,配置里有文件兜底,但那一会儿脑子都是糊的,没想起来,下次再说吧。

那 1130 条 expired

第二类错误看着不多,但挺有意思。报错说"过期了 38 秒",可 token 里的 exp 明明在两个小时以后。检查了一下机器的 NTP:

timedatectl status | grep -E "System clock|NTP"

有 3 台网关节点的时间比标准时间慢了 40 秒左右,而且 NTP 服务是 inactive 的,可能上次迁移机器的时候忘了开。JWT 的校验默认是没有宽容期的,过一秒钟就是过期,所以这批慢机器上本来处于边缘的 token 就会被判死。

顺带说一句,Go 的 jwt 库默认校验 exp 是不带 leeway 的,得自己传 jwt.WithLeeway(30*time.Second) 之类。我们当时写的时候觉得"要求严格一点没坏处",就没加,现在打脸了。

时间线

整理一下大概是这样:

中间大概有 40 分钟的故障窗口,期间用户登录成功但调接口全是 401,观感极差。好在受影响的主要是 App,Web 那边用的是另一套 session,没波及到后台。

后来改了什么

  1. JWKS 客户端遇到未知 kid 时强制回源一次,带单飞(singleflight)防止打爆,顺手加了一分钟的最小刷新间隔。
  2. 密钥轮换写进了变更流程,轮换前需要确认所有网关已经拉到新 JWKS,旧私钥保留 24 小时。
  3. 所有节点开启 NTP,加了时间偏移的监控;JWT 校验加上 30 秒 leeway,这点时间对安全性没实质影响。
  4. 401 比例单独做了告警,之前只监控 5xx,401 涨到 10% 都没人知道。
  5. 网关补了一个 /admin/jwks/refresh 接口,下次不用再滚动重启了。

最后

这次故障说起来不复杂,就是"缓存和轮换没对齐"这六个字,但真正出问题的时候,从 401 到 no key found for kid 再到"缓存 TTL",中间每一步都得停下来想一想。比较难受的是密钥轮换那一下,如果当时有人在群里说一句"我要换密钥了",可能就什么事都没有。

写这篇的时候顺手把监控又看了一遍,希望下次复盘的不是我。

评论

还没有评论。

发表评论

提交后评论将经过自动审核,审核通过后公开展示。

未在播放