小Cの已经记不起来的博客

↓ 向下滚动

幂等设计 的十种打开方式:工程实践笔记

幂等设计 的十种打开方式:工程实践笔记 上周处理一个支付回调,上游重试了三次,订单表直接多了三条记录,财务那边差点把我拉进群。后来翻了一下项目代码,发现很多接口默认“调用方不会重复调”,这玩意儿就跟默认“不会下雨”一样不靠谱。下面这些是我实际项目里用过或者踩过的幂等方案,不是标准答案,按顺手程度随便排的,组合着用居多。 一、数据库唯一索引:最土但最稳 能靠数据库约束解决的,就别先写一大堆判断。比如...

阅读更多

正则表达式进阶:限流 匹配技巧

正则表达式进阶:限流 匹配技巧 先说说我被正则坑的那次 之前写一个日志清洗脚本,本来以为就是个简单的字符串替换,结果正则一跑,CPU 直接飙到 100%,风扇跟起飞一样。等了半天没出结果,我还以为是硬盘卡了,后来把正则单独拎出来测,才发现是 . 写得太随意,中间又套了几层可选分组,活生生把正则引擎逼进了灾难性回溯。 那次之后我才认真去看“限流匹配”这件事。说白了,正则不是写得越万能越好,很多时候你...

阅读更多

Rust 所有权模型与 服务发现 的思考

Rust 所有权模型与 服务发现 的思考 起因 前几天在改一个内部服务发现的客户端,原先是用 Go 写的,注册和注销靠 defer,简单粗暴但能用。后来因为要和主服务放在同一个 Rust 进程里,就顺手用 Rust 重写了一遍。第一反应当然是照抄:注册完返回一个 guard,Drop 的时候自动注销,多优雅。 结果写出来才发现,事情没那么直接。Rust 的所有权模型确实在逼你想清楚一些东西,但服务...

阅读更多

性能优化手记:熔断 排查全过程

性能优化手记:熔断 排查全过程 周二下午刚开完会,告警群就开始刷屏:订单服务调用商品服务的熔断器打开了,失败率一路飙到 60% 多。第一反应是商品服务是不是挂了,结果点进大盘一看,人家 CPU、GC、数据库连接池都挺正常,只有订单服务这边在疯狂报 TimeoutException。这种“下游没死、上游先熔断”的情况最烦人,因为熔断只是结果,根因还在别处。 先别急着调熔断阈值 我一开始也想过直接把 ...

阅读更多

Redis 缓存穿透、雪崩与 任务调度

Redis 缓存穿透、雪崩与 任务调度 前阵子把服务拆成多实例,顺手把 Redis 缓存和定时任务也一起收拾了一遍。结果上线没两天,监控就开始报警:数据库 QPS 飙高,定时任务偶尔还重复跑。说实话,缓存穿透和缓存雪崩这两个词以前看文章觉得挺概念化,真出问题的时候,日志和监控一点也不抽象,全是实打实的连接数和慢查询。这里把我这边的处理方式记一下,不一定是最优解,但至少是我踩过坑之后能跑起来的版本。...

阅读更多

一次线上 鉴权体系 故障的复盘记录

一次线上 鉴权体系 故障的复盘记录 下午两点二十多,群里开始有人丢截图,说 App 里所有接口都在转圈,点进去看后台返回 401。我第一反应是有人把测试环境的东西发布到线上了,打开监控看了一眼,鉴权入口的 401 比例从平时的 0.1% 左右,在十分钟里爬到 12%,而且还在往上走。这就不是个别用户的问题了。 第一反应:是不是有人在刷接口 先看来源 IP,非常分散,移动端 4G 的段居多,请求频率...

阅读更多

微服务架构下 数据脱敏 的设计与权衡

微服务架构下 数据脱敏 的设计与权衡 最近在搞微服务的数据脱敏,发现这事比想象中麻烦。原来单体应用一个拦截器能搞定,现在服务拆得七零八落,用户手机号在订单服务、用户服务、通知服务、日志里到处飞。你要脱敏,先得回答:在哪脱?脱给谁看?脱完还能不能用?这些问题不统一,最后就是每个服务各写一套正则,维护起来想死。 先别急着上工具,先把数据流画出来 我一开始也是直接找开源组件,结果发现没有一个能开箱即用。...

阅读更多

React 项目中 蓝绿部署 的设计取舍

React 项目中 蓝绿部署 的设计取舍 React 项目做蓝绿部署,一开始我以为把 Nginx 的 root 指到新目录就完事了,结果被浏览器缓存和 index.html 教育了一顿。前端蓝绿不像后端那样只要两个实例、切个 Service 就完事,真正麻烦的是静态资源、入口文件和 API 兼容窗口。下面是我们踩过一圈之后留下的方案,以及每一步为什么要这么取舍。 先说结论:别把蓝绿部署想成流量开关...

阅读更多

WebSocket 实时通信与 优雅停机 应用

WebSocket 实时通信与 优雅停机 应用 先把场景摆出来 我这边有个实时通知服务,前端用 WebSocket 收消息,后端 Node.js 挂着 ws。功能不复杂,平时也没啥存在感,直到每次发版:进程一重启,客户端就开始批量报“连接已断开”,有些页面还得手动刷新才能恢复。更烦的是,偶尔有消息正好卡在重启那几秒,发是发出去了,但客户端没收到,事后查日志只能看到一行“connection clo...

阅读更多

一次线上 分库分表 故障的复盘记录

一次线上 分库分表 故障的复盘记录 背景 我们订单库是 4 库 × 4 表,按 userid 取模分片,中间件用的 ShardingSphere-JDBC。平时查询、更新都带 userid,上线快一年没出过大的幺蛾子。结果上周四下午,一个历史数据修复任务把整个订单库差点拖死。 故障现象 14:07 开始告警,订单查询接口大量 500,P99 直接拉满。应用日志里一片: 第一反应是数据库崩了?登上监...

阅读更多
未在播放