小Cの已经记不起来的博客

Kubernetes 蓝绿部署 配置避坑指南

前阵子把线上一个服务的发布方式从滚动更新改成了蓝绿,本来想着这东西说白了不就是两个 Deployment 加一个 Service 改 selector 嘛,半个小时能搞完,结果愣是折腾了一下午。中间踩的坑记一下,免得下次再犯,也顺便给同样想上这套的兄弟提个醒。

先把结构摆出来

我的做法很朴素,blue 和 green 两个 Deployment,各自带一个版本标签,一个 Service 通过 selector 决定把流量打到哪一边:

apiVersion: apps/v1
kind: Deployment
metadata:
  name: web-blue
spec:
  replicas: 3
  selector:
    matchLabels:
      app: web
      slot: blue
  template:
    metadata:
      labels:
        app: web
        slot: blue

Service 那边是这样的:

spec:
  selector:
    app: web
    slot: blue

切换就是把 slot: blue 改成 slot: green,kubectl apply 一下,完事。理论上是这样。

坑一:selector 只写 app 就完蛋

我第一次写的时候 Service 的 selector 只写了 app: web,结果 blue 和 green 两个 Deployment 的 Pod 全被选中了,流量五五开,新版本还没验证就被真实用户用上了。所以 slot 这个标签必须是 Deployment 和 Service 两边严格对齐的,而且 Deployment 自己的 spec.selector.matchLabels 里也得带上 slot,不然你 update 的时候两个 Deployment 的 Pod 集合就串了。

坑二:readinessProbe 不写,切流就是抽奖

这个坑最疼。green 的 Pod 刚 Running,我就把 selector 切过去了,结果接口一片 502。原因是容器起来了但应用还没加载完,Service 的 Endpoints 已经把流量导过去了。

Running 不等于 Ready,这个道理谁都懂,但真到自己配的时候容易偷懒。老老实实把探针写上:

readinessProbe:
  httpGet:
    path: /healthz
    port: 8080
  initialDelaySeconds: 5
  periodSeconds: 5
  failureThreshold: 3

切 selector 之前,先 kubectl get pods -l slot=green 确认 READY 那一列全是 1/1,别嫌麻烦。

坑三:资源不够,green 根本起不来

蓝绿部署意味着切换期间集群里要同时跑两倍的 Pod。我那个集群节点资源本来就紧,green 的三个副本有两个一直是 Pending,我等了十分钟才反应过来是资源不够,不是镜像拉取慢。

几个地方要一起看:节点的 Allocatable、命名空间的 ResourceQuota、还有 LimitRange 的默认值。另外 PodDisruptionBudget 也顺手检查一下,别到时候 green 起来了,blue 反过来被人挤掉了。

资源确实不够的话,要么切换期间临时把 blue 缩到 0(但这就不是无缝了),要么老老实实加节点。

坑四:镜像 tag 用 latest

这个跟蓝绿本身没直接关系,但配合起来杀伤力翻倍。回滚的时候你 kubectl set image 回去,结果拉到的还是 latest,跟没回滚一样。

镜像 tag 要么用 git sha,要么用语义化版本号,总之得是可追溯的。imagePullPolicy 也别图省事写 Always,配合固定 tag 用 IfNotPresent 更稳。

坑五:ConfigMap 和 Secret 改了不会生效

我习惯把配置挂在 env 里:

envFrom:
  - configMapRef:
      name: web-config

问题是这样改了 ConfigMap 之后,Pod 里的环境变量不会变,必须重建 Pod。你以为切换版本的时候顺便把配置也带过去了,实际上 green 用的还是模板里那份旧的。

要么用 volume 挂载(会更新,但应用得自己 reload),要么就接受这个事实——改完配置单独重启一次 Deployment。

坑六:长连接和会话

Service 切 selector 是瞬间生效的,已有的连接不会断,但新连接全走 green。如果你的服务有 WebSocket、SSE、或者做了本地会话缓存,用户会感受到「一会儿好一会儿不好」。

会话这块最简单的办法是别存本地,扔 Redis。长连接的话,切换前先在 Ingress 或网关层把 blue 的权重慢慢降下来,别硬切。

坑七:切完就把 blue 删了

我一开始就是这么干的,觉得切换成功就没事了。后来某天出问题想回滚,发现 blue 已经被删,得重新走一遍完整发布流程,中间又等了七八分钟。

blue 的 Deployment 先留着,观察个一两天确认稳定再删。副本可以缩到 1 省点资源,但别整个删掉。回滚的时候改个 selector 就完事,这才是蓝绿部署最大的价值所在。

最后,验证别省

切换之前我用一个新的 namespace 起了套一模一样的配置,把流量打过去跑了一遍冒烟测试。听着有点重,但比起切过去再发现问题往回滚,这个时间花得值。

真要说的话,蓝绿部署本身的配置量并不大,容易出问题的地方全在周边——探针、资源、配置、连接。把这些边角都照顾到,它才真的像文档里写的那样简单。

评论

还没有评论。

发表评论

提交后评论将经过自动审核,审核通过后公开展示。

未在播放