小Cの已经记不起来的博客

灰度发布 的十种打开方式:工程实践笔记

最近又在项目里折腾灰度,发现很多人一说灰度就是“上个 Istio 按百分比转发”,真到细节全是坑。记录十种实际用过的打开方式,按从简单到复杂排,不一定高级,好用就行。

1. 按用户 ID 哈希:最土但最稳

取用户 ID 做哈希再取模,落在某个区间就走新版本。好处是同一个用户不会一会儿新一会儿旧,有问题也容易复现。代码大概就是 hash(uid) % 100 < grayPercent。

坑在于用户 ID 为空、类型不统一,以及扩容后节点数变了导致比例漂移。所以别用 uid.hashCode() % 节点数,要么固定 100 个槽位,要么上一致性哈希。我们最后是在网关层统一算,业务侧只认一个 gray_tag。

2. 按百分比随机:适合无状态接口

没有用户概念的接口,比如公开查询、静态资源,直接随机最简单。Nginx 里可以用 split_clients,不用自己写 Lua:

split_clients "${remote_addr}${http_user_agent}" $gray_bucket {
    10%     new;
    *       old;
}

然后 proxy_pass 按 $gray_bucket 分流。坑是同一个用户刷新页面可能跳来跳去,所以只适合无状态、可重试的读接口。写接口别这么玩,除非你真的很想接重复提交的工单。

3. 按 Header 或 Cookie 白名单:联调神器

测试和产品联调时最实用。Nginx 里 map 一下,指定 Header 或者 Cookie 命中就走新版本:

map $http_x_gray_user $backend {
    default   old_pool;
    "zhangsan" new_pool;
    "lisi"     new_pool;
}

前端加个 document.cookie 或者 Postman 加 Header 就能切。坑是上线后忘了删白名单,结果某几个用户一直留在新版本里,日志里还看不出来。我的做法是白名单配置带过期时间,到期自动失效。

4. 按地域/机房:延迟和合规都好办

新版本先在某一个机房或者某个地域放量,出了事影响面可控,也方便对比延迟。用 GeoIP、DNS 调度或者 CDN 规则都能做。我们当时是先把新加坡机房全量,观察一晚上再推国内。

坑是 VPN、代理和边缘节点,用户实际出口 IP 和你想的不一样。所以地域灰度更适合服务端之间的调用,或者至少别把地域当成唯一条件。

5. 按客户端版本:App 发布常见

移动端经常这么干:新版本 App 请求带 app_version,服务端判断版本号大于等于某个值才走新接口。看起来简单,坑在版本号格式乱,1.10 和 1.9 字符串比较能把你送走。老老实实拆成数字比较,或者让客户端传 build_number。

另外别忘了强制升级和接口兼容,灰度期间新旧版本可能同时存在,字段别随便删。

6. 功能开关:把灰度从发布里拆出来

功能开关(Feature Flag)是我现在最喜欢的方式。代码里加一层判断,配置中心控制开给谁:

if (flagClient.isEnabled("new_checkout", userId)) {
    return newCheckout();
}
return oldCheckout();

好处是发布和放量解耦,回滚就是关开关,不用重新发版。坑是开关腐化,上线三个月了还没删,最后没人知道这个分支还有没有用。我们的规矩是每个开关建的时候写清理日期,到期不删就群里点名。

7. 影子流量/镜像:先看日志再放量

新版本还没准备好接真实流量,就把请求复制一份过去,响应丢掉。Nginx 可以用 mirror:

location /api/ {
    mirror /mirror;
    proxy_pass http://old_backend;
}

location = /mirror {
    internal;
    proxy_pass http://new_backend$request_uri;
}

这样能提前看新版本的错误日志、慢查询和 panic。坑是写操作不能随便镜像,不然订单、库存给你双写一遍。只镜像读请求,或者下游做好幂等和隔离。

8. 按租户/商户:B 端系统最实用

B 端系统里按租户灰度比按百分比靠谱。大客户先不动,拿几个内部租户或者愿意尝鲜的客户试。路由层根据 tenant_id 查配置,决定走新服务还是老服务。

坑是跨租户查询和共享数据。A 租户在新版本写了数据,B 租户在旧版本读,字段对不上就尴尬。所以数据库变更最好向前兼容,先加字段再切流量,别一上来就改表。

9. 消息队列消费灰度:别只盯 HTTP

HTTP 灰度做完了,别忘了 MQ。我们当时新消费者上线,直接订阅同一个 topic,结果两边抢消息,顺序全乱。后来改成按消息 Header 里的 gray_tag 路由到不同 topic,或者新消费者先订阅影子 topic,只观察不提交 offset。

坑是重复消费和顺序消息。灰度期间新旧消费者可能同时存在,业务侧必须幂等。顺序消息更麻烦,灰度比例没控制好,同一个 key 被分到两个消费者,顺序直接没了。

10. 按服务链路/接口粒度:标签路由加流量染色

服务多了以后,按整个服务灰度太粗,按接口又太碎。我们最后是在入口把 gray_tag 打到 Header 里,网关和 RPC 框架一路透传,下游按 tag 选实例。Spring Cloud Gateway 里大概就是过滤器加标签路由,Envoy 也能做类似的事。

最大的坑是异步线程和 MQ 丢上下文。HTTP Header 透传得好好的,一到线程池或者发消息就没了,新版本链路断在半路。所以流量染色要连 ThreadLocal、线程池装饰器、MQ 消息属性一起改,不然就是表面灰度。

灰度这事儿,工具不是关键,关键是观测和回滚。放量之前先想好:看什么指标、谁来看、出问题几分钟能切回去。不然十种打开方式,最后都变成同一种事故。

评论

还没有评论。

发表评论

提交后评论将经过自动审核,审核通过后公开展示。

未在播放