小Cの已经记不起来的博客

性能优化手记:日志采集 排查全过程

先说现象

事情是这样的,某天下午监控开始告警,日志采集延迟 P99 从 2 秒左右一路涨到 40 多秒,节点 CPU 也从 30% 干到了 80%,iowait 跟着凑热闹。采集 agent 是我们自己写的 Go 程序,DaemonSet 跑在每个节点上,链路大概是:容器 stdout -> /var/log/containers 下的符号链接 -> agent tail 文件 -> 正则解析 -> 内存队列 -> 批量发 Kafka。

一开始我以为是日志量涨了,结果看了一眼入口 QPS,基本没变,业务也没发版。那就有意思了,不是量的问题,大概率是采集端自己出了毛病。

把链路拆开看

我没急着改代码,先把 agent 自己的指标翻出来看了一遍:read_bytes、parse_duration、queue_length、send_duration。这一看就比较明显了,parse_duration 涨了差不多 10 倍,内存队列长期接近打满,发送端被反压,读文件自然就慢下来了。

所以问题不在 Kafka,也不在磁盘写不过来,至少第一现场是在解析这一段。为了确认,我直接开了 pprof:

go tool pprof http://127.0.0.1:6060/debug/pprof/profile?seconds=30

进去之后 top 一看,regexp.(*Regexp).doExecute 排得很靠前。行吧,基本对上了。

第一处:正则回溯

最近刚好改过日志解析规则,加了几个业务字段,其中有一条大概长这样:

(\w+)=("[^"]*"|\S*)

单独看没啥问题,但我们的日志里偶尔会混进很长的 JSON、栈追踪,甚至一整行几 MB 的异常输出。这种行一旦进了正则,某些写法就会疯狂回溯。你说它错吧,它也不算完全错,但在采集端每行都跑一遍,确实顶不住。

我先做了个简单验证:把新加的规则注释掉,重启 agent,CPU 立马从 80% 掉到 40% 左右,解析耗时也下来了。嗯,凶手就是它。

优化方式也不复杂:

  1. 正则全部预编译,别在循环里 regexp.MustCompile。
  2. 限制单行最大处理长度,超过 64KB 的行只保留前 16KB,再记一个原始长度,别硬啃。
  3. 跑正则之前先用 bytes.Index 做快速判断,没有目标字段直接跳过。
  4. 把那种嵌套量词、.* 乱飞的规则改掉,能不用正则就不用正则。

这里顺手吐槽一句:采集端真不是做复杂业务解析的地方,能往后挪就往后挪,不然一出问题就是节点级事故。

第二处:每行都在分配

CPU 降下来之后,新的问题又冒出来了,GC 比较频繁。用 alloc profile 看了一眼:

go tool pprof http://127.0.0.1:6060/debug/pprof/allocs

好家伙,每读一行都 string(line),然后 strings.Split,再往 map 里塞,解析结果也是临时对象。日志量一上来,垃圾回收器都快忙不过来了。

改法比较土,但有效:读文件的 buffer 复用,解析结果直接写进固定结构体,临时 map 能不用就不用,必要的对象丢进 sync.Pool。批量发送也顺手调了一下,之前是 200ms 一批,现在改成 500ms 一批,单批最多 2000 条。因为我们日志延迟要求是 5 秒内,500ms 完全能接受。

Kafka producer 那边也把参数重新看了一遍,大概是这样:

queue.buffering.max.messages=200000
batch.num.messages=2000
linger.ms=500

别照抄,这玩意儿得按自己环境和延迟要求调。我们一开始 linger.ms 设得太小,batch 还没攒起来就发出去了,吞吐肯定不好看。

第三处:文件句柄和 inotify

CPU 和 GC 都稳了之后,还有偶发卡顿。lsof -p 一看,agent 的句柄数快 10 万了。再查 inotify watch 数量,也不少。原因是容器日志 rotate 之后,旧文件没有及时关闭,inotify 又监听了太多目录和文件。

这块优化比较直接:

改完再压测,用脚本往日志文件里持续写,大概 5 万行/秒,跑了 30 分钟。结果还算能看:节点 CPU 从 80% 降到 25% 左右,P99 延迟从 40 多秒回到 1.8 秒,agent 内存从 1.2GB 降到 400MB,GC pause 也从 80ms 降到了 5ms 上下。

最后

这次排查最大的感受是,别一上来就盯着 CPU 看,采集链路的队列长度、解析耗时、发送耗时往往更能说明问题。日志采集这活儿,稳定搬砖比现场炼丹重要得多。采集端就老老实实读文件、做轻量解析、批量发送,复杂的字段提取和业务逻辑,能后置就后置。不然哪天日志里冒出一行“惊喜”,整台节点都得跟着抖三抖。

评论

还没有评论。

发表评论

提交后评论将经过自动审核,审核通过后公开展示。

未在播放