小Cの已经记不起来的博客

↓ 向下滚动

性能优化手记:分布式锁 排查全过程

性能优化手记:分布式锁 排查全过程 先交代背景 前段时间一个跑批服务开始抽风,白天还好,一到凌晨任务密集的时候就出问题。表现也不复杂:接口 P99 从 800ms 慢慢涨到 5s,后面干脆一堆超时,任务堆积,告警群里开始刷屏。 这个服务本身不复杂,核心逻辑就是定时任务抢锁、执行、写库。锁用的是 Redis + Redisson,按理说这套东西已经很成熟了,所以一开始我压根没往锁上想。人嘛,总是先怀...

阅读更多

灰度发布 的十种打开方式:工程实践笔记

灰度发布 的十种打开方式:工程实践笔记 最近又在项目里折腾灰度,发现很多人一说灰度就是“上个 Istio 按百分比转发”,真到细节全是坑。记录十种实际用过的打开方式,按从简单到复杂排,不一定高级,好用就行。 1. 按用户 ID 哈希:最土但最稳 取用户 ID 做哈希再取模,落在某个区间就走新版本。好处是同一个用户不会一会儿新一会儿旧,有问题也容易复现。代码大概就是 hash(uid) % 100 ...

阅读更多

React 项目中 优雅停机 的设计取舍

React 项目中 优雅停机 的设计取舍 前阵子把一个后台项目拆成微前端,结果用户切菜单的时候偶尔会弹两次全局通知。查了半天发现,子应用卸载后 WebSocket 没断,重连逻辑还在后台跑,等它连上又推了一次消息。那一刻我才认真想这件事:React 项目也得聊“优雅停机”,不是后端才有的词。 到底什么叫“停机” 在 React 里,停机不是一个进程退出那么简单,它可能是组件卸载、路由离开、页面关闭...

阅读更多

机器学习入门:幂等设计 数据预处理

机器学习入门:幂等设计 数据预处理 刚开始学机器学习的时候,我对数据预处理的理解特别朴素:读 CSV、删空值、切训练集验证集、保存,完事。直到有一次调完参数想重跑一遍,发现训练集行数比上次多了两千多,指标还“好看”了一点。查了半天,发现脚本里用了追加写,跑一次就多一份。那一刻我才意识到,数据预处理也得讲幂等。 幂等这个词听起来像后端接口的专属名词,但放在机器学习流程里一样要命。简单说就是:同样的原...

阅读更多

React 项目中 分库分表 的设计取舍

React 项目中 分库分表 的设计取舍 第一次在 React 项目里听到“分库分表”,我脑子是懵的。前端就负责画页面,数据库怎么分关我什么事?后来后台列表页越来越慢,接口动不动超时,后端说单表已经两千多万行了,不拆不行。拆完之后,React 这边也得跟着改。分页器对不上、筛选条件跨库、统计数字偶尔抽风,全是坑。下面就把我踩过的那些取舍记一下,不一定对,但至少都是实测踩出来的。 先搞清楚是谁在分、...

阅读更多

微服务架构下 优雅停机 的设计与权衡

微服务架构下 优雅停机 的设计与权衡 先说一个翻车的场景 有次凌晨发版,改了一个订单状态相关的逻辑,rolling update 一路绿灯,结果第二天早上发现丢了十几笔订单。查了半天没在业务代码里找到问题,最后把时间线对了一遍才发现:老 pod 被 k8s 干掉的那一刹那,正好还有几个请求在写数据库,事务没提交,进程直接没了。更骚的是,业务代码里那个 @Transactional 也没救回来,因为...

阅读更多

从零实现一个简易的灰度发布

从零实现一个简易的灰度发布 最近给一个内部服务做灰度发布,本来想直接上 Nginx 的 splitclients,结果发现这玩意儿按 cookie 做一致性分流还得配合 map 和 Lua,配置越写越长。又看了一圈开源的网关,功能倒是全,但为了一个 10% 的灰度把整套东西搬进来,实在有点重。可能是我没找到更轻的写法吧。最后干脆用 Go 标准库写了一个几十行的反向代理,够用,改配置也不用重启。 下...

阅读更多

Git 工作流中的 幂等设计 最佳实践

Git 工作流中的 幂等设计 最佳实践 从一次“重试就炸”说起 前阵子给一个仓库写自动发版脚本,本地跑得好好的,放到 CI 里一重试就出问题:tag 已经存在,release 也建过了,脚本卡在最后一步,日志红得挺均匀。说实话,Git 里很多命令你手敲的时候没感觉,一进脚本、一加重试,幂等问题就露出来了。 幂等这事听起来像分布式系统里的词,其实在 Git 工作流里特别朴素:同一个操作执行一次和执行...

阅读更多

正则表达式进阶:链路追踪 匹配技巧

正则表达式进阶:链路追踪 匹配技巧 前两天排查线上一个 502,翻网关日志,满屏 trace id 一闪而过,想把它们挑出来做个小统计,结果第一条正则就写崩了……后来发现是我把 trace id 长度写死成 32 位,可一部分老服务的 id 其实是 16 位,还有些日志里干脆带了 traceid= 前缀。折腾半天,索性把这一路踩的坑记下来,省得下次再翻。 先搞清楚 traceId 到底长什么样 现...

阅读更多

Kubernetes 蓝绿部署 配置避坑指南

Kubernetes 蓝绿部署 配置避坑指南 前阵子把线上一个服务的发布方式从滚动更新改成了蓝绿,本来想着这东西说白了不就是两个 Deployment 加一个 Service 改 selector 嘛,半个小时能搞完,结果愣是折腾了一下午。中间踩的坑记一下,免得下次再犯,也顺便给同样想上这套的兄弟提个醒。 先把结构摆出来 我的做法很朴素,blue 和 green 两个 Deployment,各自带...

阅读更多
未在播放