性能优化手记:日志采集 排查全过程
先说现象
事情是这样的,某天下午监控开始告警,日志采集延迟 P99 从 2 秒左右一路涨到 40 多秒,节点 CPU 也从 30% 干到了 80%,iowait 跟着凑热闹。采集 agent 是我们自己写的 Go 程序,DaemonSet 跑在每个节点上,链路大概是:容器 stdout -> /var/log/containers 下的符号链接 -> agent tail 文件 -> 正则解析 -> 内存队列 -> 批量发 Kafka。
一开始我以为是日志量涨了,结果看了一眼入口 QPS,基本没变,业务也没发版。那就有意思了,不是量的问题,大概率是采集端自己出了毛病。
把链路拆开看
我没急着改代码,先把 agent 自己的指标翻出来看了一遍:read_bytes、parse_duration、queue_length、send_duration。这一看就比较明显了,parse_duration 涨了差不多 10 倍,内存队列长期接近打满,发送端被反压,读文件自然就慢下来了。
所以问题不在 Kafka,也不在磁盘写不过来,至少第一现场是在解析这一段。为了确认,我直接开了 pprof:
go tool pprof http://127.0.0.1:6060/debug/pprof/profile?seconds=30
进去之后 top 一看,regexp.(*Regexp).doExecute 排得很靠前。行吧,基本对上了。
第一处:正则回溯
最近刚好改过日志解析规则,加了几个业务字段,其中有一条大概长这样:
(\w+)=("[^"]*"|\S*)
单独看没啥问题,但我们的日志里偶尔会混进很长的 JSON、栈追踪,甚至一整行几 MB 的异常输出。这种行一旦进了正则,某些写法就会疯狂回溯。你说它错吧,它也不算完全错,但在采集端每行都跑一遍,确实顶不住。
我先做了个简单验证:把新加的规则注释掉,重启 agent,CPU 立马从 80% 掉到 40% 左右,解析耗时也下来了。嗯,凶手就是它。
优化方式也不复杂:
- 正则全部预编译,别在循环里
regexp.MustCompile。 - 限制单行最大处理长度,超过 64KB 的行只保留前 16KB,再记一个原始长度,别硬啃。
- 跑正则之前先用
bytes.Index做快速判断,没有目标字段直接跳过。 - 把那种嵌套量词、
.*乱飞的规则改掉,能不用正则就不用正则。
这里顺手吐槽一句:采集端真不是做复杂业务解析的地方,能往后挪就往后挪,不然一出问题就是节点级事故。
第二处:每行都在分配
CPU 降下来之后,新的问题又冒出来了,GC 比较频繁。用 alloc profile 看了一眼:
go tool pprof http://127.0.0.1:6060/debug/pprof/allocs
好家伙,每读一行都 string(line),然后 strings.Split,再往 map 里塞,解析结果也是临时对象。日志量一上来,垃圾回收器都快忙不过来了。
改法比较土,但有效:读文件的 buffer 复用,解析结果直接写进固定结构体,临时 map 能不用就不用,必要的对象丢进 sync.Pool。批量发送也顺手调了一下,之前是 200ms 一批,现在改成 500ms 一批,单批最多 2000 条。因为我们日志延迟要求是 5 秒内,500ms 完全能接受。
Kafka producer 那边也把参数重新看了一遍,大概是这样:
queue.buffering.max.messages=200000
batch.num.messages=2000
linger.ms=500
别照抄,这玩意儿得按自己环境和延迟要求调。我们一开始 linger.ms 设得太小,batch 还没攒起来就发出去了,吞吐肯定不好看。
第三处:文件句柄和 inotify
CPU 和 GC 都稳了之后,还有偶发卡顿。lsof -p 一看,agent 的句柄数快 10 万了。再查 inotify watch 数量,也不少。原因是容器日志 rotate 之后,旧文件没有及时关闭,inotify 又监听了太多目录和文件。
这块优化比较直接:
- inotify 只监听目录,不监听每个文件。
- 定期清理 5 分钟内没有写入的文件句柄。
- 对已经删除但还被打开的文件单独处理,别让它一直挂着。
- 限制并发读取文件数,我们设的是
max_concurrent_files=64。 - 读块从 4KB 调到 64KB,减少系统调用次数。
改完再压测,用脚本往日志文件里持续写,大概 5 万行/秒,跑了 30 分钟。结果还算能看:节点 CPU 从 80% 降到 25% 左右,P99 延迟从 40 多秒回到 1.8 秒,agent 内存从 1.2GB 降到 400MB,GC pause 也从 80ms 降到了 5ms 上下。
最后
这次排查最大的感受是,别一上来就盯着 CPU 看,采集链路的队列长度、解析耗时、发送耗时往往更能说明问题。日志采集这活儿,稳定搬砖比现场炼丹重要得多。采集端就老老实实读文件、做轻量解析、批量发送,复杂的字段提取和业务逻辑,能后置就后置。不然哪天日志里冒出一行“惊喜”,整台节点都得跟着抖三抖。
评论
还没有评论。
发表评论
提交后评论将经过自动审核,审核通过后公开展示。