小Cの已经记不起来的博客

↓ 向下滚动

正则表达式进阶:消息队列 匹配技巧

正则表达式进阶:消息队列 匹配技巧 前几天排查一个消费积压的问题,本来只是想从日志里把某条消息捞出来,结果写着写着发现消息队列里的正则跟平时匹配网页文本完全不是一回事。日志里混着 topic、partition、offset、traceId,还有被转义过的 JSON 消息体,一开始图省事写了个 .,匹配是能匹配,但取出来的东西完全不对,要么把整行都吃掉了,要么跨到了下一条日志。下面是我这阵子踩坑之...

阅读更多

优雅停机 的十种打开方式:工程实践笔记

优雅停机 的十种打开方式:工程实践笔记 先扯两句 上周发版,服务重启的时候被用户投诉了两次。一次是刚好在扣款,请求打到一半连接被重置,用户以为没付成功又点了一遍;另一次是日志里一堆 connection reset by peer,排查了半天发现是停机时没等异步任务跑完。从那以后我把“优雅停机”这几个字贴在了显示器边上。下面这十种方式是我在几个项目里实际用过的,有的简单粗暴,有的稍微麻烦点,按需取...

阅读更多

性能优化手记:日志采集 排查全过程

性能优化手记:日志采集 排查全过程 先说现象 事情是这样的,某天下午监控开始告警,日志采集延迟 P99 从 2 秒左右一路涨到 40 多秒,节点 CPU 也从 30% 干到了 80%,iowait 跟着凑热闹。采集 agent 是我们自己写的 Go 程序,DaemonSet 跑在每个节点上,链路大概是:容器 stdout -> /var/log/containers 下的符号链接 -> agent...

阅读更多

幂等设计 的十种打开方式:工程实践笔记

幂等设计 的十种打开方式:工程实践笔记 上周处理一个支付回调,上游重试了三次,订单表直接多了三条记录,财务那边差点把我拉进群。后来翻了一下项目代码,发现很多接口默认“调用方不会重复调”,这玩意儿就跟默认“不会下雨”一样不靠谱。下面这些是我实际项目里用过或者踩过的幂等方案,不是标准答案,按顺手程度随便排的,组合着用居多。 一、数据库唯一索引:最土但最稳 能靠数据库约束解决的,就别先写一大堆判断。比如...

阅读更多

正则表达式进阶:限流 匹配技巧

正则表达式进阶:限流 匹配技巧 先说说我被正则坑的那次 之前写一个日志清洗脚本,本来以为就是个简单的字符串替换,结果正则一跑,CPU 直接飙到 100%,风扇跟起飞一样。等了半天没出结果,我还以为是硬盘卡了,后来把正则单独拎出来测,才发现是 . 写得太随意,中间又套了几层可选分组,活生生把正则引擎逼进了灾难性回溯。 那次之后我才认真去看“限流匹配”这件事。说白了,正则不是写得越万能越好,很多时候你...

阅读更多

Rust 所有权模型与 服务发现 的思考

Rust 所有权模型与 服务发现 的思考 起因 前几天在改一个内部服务发现的客户端,原先是用 Go 写的,注册和注销靠 defer,简单粗暴但能用。后来因为要和主服务放在同一个 Rust 进程里,就顺手用 Rust 重写了一遍。第一反应当然是照抄:注册完返回一个 guard,Drop 的时候自动注销,多优雅。 结果写出来才发现,事情没那么直接。Rust 的所有权模型确实在逼你想清楚一些东西,但服务...

阅读更多

性能优化手记:熔断 排查全过程

性能优化手记:熔断 排查全过程 周二下午刚开完会,告警群就开始刷屏:订单服务调用商品服务的熔断器打开了,失败率一路飙到 60% 多。第一反应是商品服务是不是挂了,结果点进大盘一看,人家 CPU、GC、数据库连接池都挺正常,只有订单服务这边在疯狂报 TimeoutException。这种“下游没死、上游先熔断”的情况最烦人,因为熔断只是结果,根因还在别处。 先别急着调熔断阈值 我一开始也想过直接把 ...

阅读更多

Redis 缓存穿透、雪崩与 任务调度

Redis 缓存穿透、雪崩与 任务调度 前阵子把服务拆成多实例,顺手把 Redis 缓存和定时任务也一起收拾了一遍。结果上线没两天,监控就开始报警:数据库 QPS 飙高,定时任务偶尔还重复跑。说实话,缓存穿透和缓存雪崩这两个词以前看文章觉得挺概念化,真出问题的时候,日志和监控一点也不抽象,全是实打实的连接数和慢查询。这里把我这边的处理方式记一下,不一定是最优解,但至少是我踩过坑之后能跑起来的版本。...

阅读更多

一次线上 鉴权体系 故障的复盘记录

一次线上 鉴权体系 故障的复盘记录 下午两点二十多,群里开始有人丢截图,说 App 里所有接口都在转圈,点进去看后台返回 401。我第一反应是有人把测试环境的东西发布到线上了,打开监控看了一眼,鉴权入口的 401 比例从平时的 0.1% 左右,在十分钟里爬到 12%,而且还在往上走。这就不是个别用户的问题了。 第一反应:是不是有人在刷接口 先看来源 IP,非常分散,移动端 4G 的段居多,请求频率...

阅读更多

微服务架构下 数据脱敏 的设计与权衡

微服务架构下 数据脱敏 的设计与权衡 最近在搞微服务的数据脱敏,发现这事比想象中麻烦。原来单体应用一个拦截器能搞定,现在服务拆得七零八落,用户手机号在订单服务、用户服务、通知服务、日志里到处飞。你要脱敏,先得回答:在哪脱?脱给谁看?脱完还能不能用?这些问题不统一,最后就是每个服务各写一套正则,维护起来想死。 先别急着上工具,先把数据流画出来 我一开始也是直接找开源组件,结果发现没有一个能开箱即用。...

阅读更多
未在播放