小Cの已经记不起来的博客

↓ 向下滚动

从零实现一个简易的灰度发布

从零实现一个简易的灰度发布 最近给一个内部服务做灰度发布,本来想直接上 Nginx 的 splitclients,结果发现这玩意儿按 cookie 做一致性分流还得配合 map 和 Lua,配置越写越长。又看了一圈开源的网关,功能倒是全,但为了一个 10% 的灰度把整套东西搬进来,实在有点重。可能是我没找到更轻的写法吧。最后干脆用 Go 标准库写了一个几十行的反向代理,够用,改配置也不用重启。 下...

阅读更多

Git 工作流中的 幂等设计 最佳实践

Git 工作流中的 幂等设计 最佳实践 从一次“重试就炸”说起 前阵子给一个仓库写自动发版脚本,本地跑得好好的,放到 CI 里一重试就出问题:tag 已经存在,release 也建过了,脚本卡在最后一步,日志红得挺均匀。说实话,Git 里很多命令你手敲的时候没感觉,一进脚本、一加重试,幂等问题就露出来了。 幂等这事听起来像分布式系统里的词,其实在 Git 工作流里特别朴素:同一个操作执行一次和执行...

阅读更多

正则表达式进阶:链路追踪 匹配技巧

正则表达式进阶:链路追踪 匹配技巧 前两天排查线上一个 502,翻网关日志,满屏 trace id 一闪而过,想把它们挑出来做个小统计,结果第一条正则就写崩了……后来发现是我把 trace id 长度写死成 32 位,可一部分老服务的 id 其实是 16 位,还有些日志里干脆带了 traceid= 前缀。折腾半天,索性把这一路踩的坑记下来,省得下次再翻。 先搞清楚 traceId 到底长什么样 现...

阅读更多

Kubernetes 蓝绿部署 配置避坑指南

Kubernetes 蓝绿部署 配置避坑指南 前阵子把线上一个服务的发布方式从滚动更新改成了蓝绿,本来想着这东西说白了不就是两个 Deployment 加一个 Service 改 selector 嘛,半个小时能搞完,结果愣是折腾了一下午。中间踩的坑记一下,免得下次再犯,也顺便给同样想上这套的兄弟提个醒。 先把结构摆出来 我的做法很朴素,blue 和 green 两个 Deployment,各自带...

阅读更多

深入理解 Linux 熔断 的工作机制

深入理解 Linux 熔断 的工作机制 我一开始看到“Linux 熔断”这四个字,脑子里冒出来的是 Hystrix、Sentinel 那种东西,后来在服务器上真碰到 CPU 被 offline,才发现内核里的熔断跟业务层完全不是一个画风。业务层熔断是怕下游拖死自己,内核熔断更像是怕一个硬件错误把整台机器带走。 严格说,你在内核源码里搜不到一个叫 circuitbreaker.c 的文件。Linux...

阅读更多

正则表达式进阶:消息队列 匹配技巧

正则表达式进阶:消息队列 匹配技巧 前几天排查一个消费积压的问题,本来只是想从日志里把某条消息捞出来,结果写着写着发现消息队列里的正则跟平时匹配网页文本完全不是一回事。日志里混着 topic、partition、offset、traceId,还有被转义过的 JSON 消息体,一开始图省事写了个 .,匹配是能匹配,但取出来的东西完全不对,要么把整行都吃掉了,要么跨到了下一条日志。下面是我这阵子踩坑之...

阅读更多

优雅停机 的十种打开方式:工程实践笔记

优雅停机 的十种打开方式:工程实践笔记 先扯两句 上周发版,服务重启的时候被用户投诉了两次。一次是刚好在扣款,请求打到一半连接被重置,用户以为没付成功又点了一遍;另一次是日志里一堆 connection reset by peer,排查了半天发现是停机时没等异步任务跑完。从那以后我把“优雅停机”这几个字贴在了显示器边上。下面这十种方式是我在几个项目里实际用过的,有的简单粗暴,有的稍微麻烦点,按需取...

阅读更多

性能优化手记:日志采集 排查全过程

性能优化手记:日志采集 排查全过程 先说现象 事情是这样的,某天下午监控开始告警,日志采集延迟 P99 从 2 秒左右一路涨到 40 多秒,节点 CPU 也从 30% 干到了 80%,iowait 跟着凑热闹。采集 agent 是我们自己写的 Go 程序,DaemonSet 跑在每个节点上,链路大概是:容器 stdout -> /var/log/containers 下的符号链接 -> agent...

阅读更多

幂等设计 的十种打开方式:工程实践笔记

幂等设计 的十种打开方式:工程实践笔记 上周处理一个支付回调,上游重试了三次,订单表直接多了三条记录,财务那边差点把我拉进群。后来翻了一下项目代码,发现很多接口默认“调用方不会重复调”,这玩意儿就跟默认“不会下雨”一样不靠谱。下面这些是我实际项目里用过或者踩过的幂等方案,不是标准答案,按顺手程度随便排的,组合着用居多。 一、数据库唯一索引:最土但最稳 能靠数据库约束解决的,就别先写一大堆判断。比如...

阅读更多

正则表达式进阶:限流 匹配技巧

正则表达式进阶:限流 匹配技巧 先说说我被正则坑的那次 之前写一个日志清洗脚本,本来以为就是个简单的字符串替换,结果正则一跑,CPU 直接飙到 100%,风扇跟起飞一样。等了半天没出结果,我还以为是硬盘卡了,后来把正则单独拎出来测,才发现是 . 写得太随意,中间又套了几层可选分组,活生生把正则引擎逼进了灾难性回溯。 那次之后我才认真去看“限流匹配”这件事。说白了,正则不是写得越万能越好,很多时候你...

阅读更多
未在播放