Kubernetes 蓝绿部署 配置避坑指南
前阵子把线上一个服务的发布方式从滚动更新改成了蓝绿,本来想着这东西说白了不就是两个 Deployment 加一个 Service 改 selector 嘛,半个小时能搞完,结果愣是折腾了一下午。中间踩的坑记一下,免得下次再犯,也顺便给同样想上这套的兄弟提个醒。
先把结构摆出来
我的做法很朴素,blue 和 green 两个 Deployment,各自带一个版本标签,一个 Service 通过 selector 决定把流量打到哪一边:
apiVersion: apps/v1
kind: Deployment
metadata:
name: web-blue
spec:
replicas: 3
selector:
matchLabels:
app: web
slot: blue
template:
metadata:
labels:
app: web
slot: blue
Service 那边是这样的:
spec:
selector:
app: web
slot: blue
切换就是把 slot: blue 改成 slot: green,kubectl apply 一下,完事。理论上是这样。
坑一:selector 只写 app 就完蛋
我第一次写的时候 Service 的 selector 只写了 app: web,结果 blue 和 green 两个 Deployment 的 Pod 全被选中了,流量五五开,新版本还没验证就被真实用户用上了。所以 slot 这个标签必须是 Deployment 和 Service 两边严格对齐的,而且 Deployment 自己的 spec.selector.matchLabels 里也得带上 slot,不然你 update 的时候两个 Deployment 的 Pod 集合就串了。
坑二:readinessProbe 不写,切流就是抽奖
这个坑最疼。green 的 Pod 刚 Running,我就把 selector 切过去了,结果接口一片 502。原因是容器起来了但应用还没加载完,Service 的 Endpoints 已经把流量导过去了。
Running 不等于 Ready,这个道理谁都懂,但真到自己配的时候容易偷懒。老老实实把探针写上:
readinessProbe:
httpGet:
path: /healthz
port: 8080
initialDelaySeconds: 5
periodSeconds: 5
failureThreshold: 3
切 selector 之前,先 kubectl get pods -l slot=green 确认 READY 那一列全是 1/1,别嫌麻烦。
坑三:资源不够,green 根本起不来
蓝绿部署意味着切换期间集群里要同时跑两倍的 Pod。我那个集群节点资源本来就紧,green 的三个副本有两个一直是 Pending,我等了十分钟才反应过来是资源不够,不是镜像拉取慢。
几个地方要一起看:节点的 Allocatable、命名空间的 ResourceQuota、还有 LimitRange 的默认值。另外 PodDisruptionBudget 也顺手检查一下,别到时候 green 起来了,blue 反过来被人挤掉了。
资源确实不够的话,要么切换期间临时把 blue 缩到 0(但这就不是无缝了),要么老老实实加节点。
坑四:镜像 tag 用 latest
这个跟蓝绿本身没直接关系,但配合起来杀伤力翻倍。回滚的时候你 kubectl set image 回去,结果拉到的还是 latest,跟没回滚一样。
镜像 tag 要么用 git sha,要么用语义化版本号,总之得是可追溯的。imagePullPolicy 也别图省事写 Always,配合固定 tag 用 IfNotPresent 更稳。
坑五:ConfigMap 和 Secret 改了不会生效
我习惯把配置挂在 env 里:
envFrom:
- configMapRef:
name: web-config
问题是这样改了 ConfigMap 之后,Pod 里的环境变量不会变,必须重建 Pod。你以为切换版本的时候顺便把配置也带过去了,实际上 green 用的还是模板里那份旧的。
要么用 volume 挂载(会更新,但应用得自己 reload),要么就接受这个事实——改完配置单独重启一次 Deployment。
坑六:长连接和会话
Service 切 selector 是瞬间生效的,已有的连接不会断,但新连接全走 green。如果你的服务有 WebSocket、SSE、或者做了本地会话缓存,用户会感受到「一会儿好一会儿不好」。
会话这块最简单的办法是别存本地,扔 Redis。长连接的话,切换前先在 Ingress 或网关层把 blue 的权重慢慢降下来,别硬切。
坑七:切完就把 blue 删了
我一开始就是这么干的,觉得切换成功就没事了。后来某天出问题想回滚,发现 blue 已经被删,得重新走一遍完整发布流程,中间又等了七八分钟。
blue 的 Deployment 先留着,观察个一两天确认稳定再删。副本可以缩到 1 省点资源,但别整个删掉。回滚的时候改个 selector 就完事,这才是蓝绿部署最大的价值所在。
最后,验证别省
切换之前我用一个新的 namespace 起了套一模一样的配置,把流量打过去跑了一遍冒烟测试。听着有点重,但比起切过去再发现问题往回滚,这个时间花得值。
真要说的话,蓝绿部署本身的配置量并不大,容易出问题的地方全在周边——探针、资源、配置、连接。把这些边角都照顾到,它才真的像文档里写的那样简单。
评论
还没有评论。
发表评论
提交后评论将经过自动审核,审核通过后公开展示。