正则表达式进阶:链路追踪 匹配技巧
正则表达式进阶:链路追踪 匹配技巧 前两天排查线上一个 502,翻网关日志,满屏 trace id 一闪而过,想把它们挑出来做个小统计,结果第一条正则就写崩了……后来发现是我把 trace id 长度写死成 32 位,可一部分老服务的 id 其实是 16 位,还有些日志里干脆带了 traceid= 前缀。折腾半天,索性把这一路踩的坑记下来,省得下次再翻。 先搞清楚 traceId 到底长什么样 现...
阅读更多正则表达式进阶:链路追踪 匹配技巧 前两天排查线上一个 502,翻网关日志,满屏 trace id 一闪而过,想把它们挑出来做个小统计,结果第一条正则就写崩了……后来发现是我把 trace id 长度写死成 32 位,可一部分老服务的 id 其实是 16 位,还有些日志里干脆带了 traceid= 前缀。折腾半天,索性把这一路踩的坑记下来,省得下次再翻。 先搞清楚 traceId 到底长什么样 现...
阅读更多Kubernetes 蓝绿部署 配置避坑指南 前阵子把线上一个服务的发布方式从滚动更新改成了蓝绿,本来想着这东西说白了不就是两个 Deployment 加一个 Service 改 selector 嘛,半个小时能搞完,结果愣是折腾了一下午。中间踩的坑记一下,免得下次再犯,也顺便给同样想上这套的兄弟提个醒。 先把结构摆出来 我的做法很朴素,blue 和 green 两个 Deployment,各自带...
阅读更多深入理解 Linux 熔断 的工作机制 我一开始看到“Linux 熔断”这四个字,脑子里冒出来的是 Hystrix、Sentinel 那种东西,后来在服务器上真碰到 CPU 被 offline,才发现内核里的熔断跟业务层完全不是一个画风。业务层熔断是怕下游拖死自己,内核熔断更像是怕一个硬件错误把整台机器带走。 严格说,你在内核源码里搜不到一个叫 circuitbreaker.c 的文件。Linux...
阅读更多正则表达式进阶:消息队列 匹配技巧 前几天排查一个消费积压的问题,本来只是想从日志里把某条消息捞出来,结果写着写着发现消息队列里的正则跟平时匹配网页文本完全不是一回事。日志里混着 topic、partition、offset、traceId,还有被转义过的 JSON 消息体,一开始图省事写了个 .,匹配是能匹配,但取出来的东西完全不对,要么把整行都吃掉了,要么跨到了下一条日志。下面是我这阵子踩坑之...
阅读更多优雅停机 的十种打开方式:工程实践笔记 先扯两句 上周发版,服务重启的时候被用户投诉了两次。一次是刚好在扣款,请求打到一半连接被重置,用户以为没付成功又点了一遍;另一次是日志里一堆 connection reset by peer,排查了半天发现是停机时没等异步任务跑完。从那以后我把“优雅停机”这几个字贴在了显示器边上。下面这十种方式是我在几个项目里实际用过的,有的简单粗暴,有的稍微麻烦点,按需取...
阅读更多性能优化手记:日志采集 排查全过程 先说现象 事情是这样的,某天下午监控开始告警,日志采集延迟 P99 从 2 秒左右一路涨到 40 多秒,节点 CPU 也从 30% 干到了 80%,iowait 跟着凑热闹。采集 agent 是我们自己写的 Go 程序,DaemonSet 跑在每个节点上,链路大概是:容器 stdout -> /var/log/containers 下的符号链接 -> agent...
阅读更多幂等设计 的十种打开方式:工程实践笔记 上周处理一个支付回调,上游重试了三次,订单表直接多了三条记录,财务那边差点把我拉进群。后来翻了一下项目代码,发现很多接口默认“调用方不会重复调”,这玩意儿就跟默认“不会下雨”一样不靠谱。下面这些是我实际项目里用过或者踩过的幂等方案,不是标准答案,按顺手程度随便排的,组合着用居多。 一、数据库唯一索引:最土但最稳 能靠数据库约束解决的,就别先写一大堆判断。比如...
阅读更多正则表达式进阶:限流 匹配技巧 先说说我被正则坑的那次 之前写一个日志清洗脚本,本来以为就是个简单的字符串替换,结果正则一跑,CPU 直接飙到 100%,风扇跟起飞一样。等了半天没出结果,我还以为是硬盘卡了,后来把正则单独拎出来测,才发现是 . 写得太随意,中间又套了几层可选分组,活生生把正则引擎逼进了灾难性回溯。 那次之后我才认真去看“限流匹配”这件事。说白了,正则不是写得越万能越好,很多时候你...
阅读更多Rust 所有权模型与 服务发现 的思考 起因 前几天在改一个内部服务发现的客户端,原先是用 Go 写的,注册和注销靠 defer,简单粗暴但能用。后来因为要和主服务放在同一个 Rust 进程里,就顺手用 Rust 重写了一遍。第一反应当然是照抄:注册完返回一个 guard,Drop 的时候自动注销,多优雅。 结果写出来才发现,事情没那么直接。Rust 的所有权模型确实在逼你想清楚一些东西,但服务...
阅读更多性能优化手记:熔断 排查全过程 周二下午刚开完会,告警群就开始刷屏:订单服务调用商品服务的熔断器打开了,失败率一路飙到 60% 多。第一反应是商品服务是不是挂了,结果点进大盘一看,人家 CPU、GC、数据库连接池都挺正常,只有订单服务这边在疯狂报 TimeoutException。这种“下游没死、上游先熔断”的情况最烦人,因为熔断只是结果,根因还在别处。 先别急着调熔断阈值 我一开始也想过直接把 ...
阅读更多