正则表达式进阶:链路追踪 匹配技巧
前两天排查线上一个 502,翻网关日志,满屏 trace id 一闪而过,想把它们挑出来做个小统计,结果第一条正则就写崩了……后来发现是我把 trace id 长度写死成 32 位,可一部分老服务的 id 其实是 16 位,还有些日志里干脆带了 trace_id= 前缀。折腾半天,索性把这一路踩的坑记下来,省得下次再翻。
先搞清楚 traceId 到底长什么样
现在主流就两套。W3C Trace Context 的 traceparent 头长这样:
00-4bf92f3577b34da6a3ce929d0e0e4736-00f067aa0ba902b7-01
version-traceId-spanId-flags,全是小写十六进制,traceId 32 位、spanId 16 位。而 Jaeger 早期生成的 trace id 有 16 位的,也有 32 位的,Zipkin 还能见到纯数字的。所以别上来就写 [0-9a-f]{32},那玩意儿只能匹配“规矩”的那一半。
我一般先用一个宽松的:
\b[0-9a-f]{16}(?:[0-9a-f]{16})?\b
看起来挺稳,实际上 [0-9a-f] 不加边界会误伤——十六进制字符集和日期里的数字、某些 hash 片段是重合的,\b 是必须的,但 \b 又会在下划线处断掉,trace_id=xxx 这种上下文里 = 后面刚好能匹配上,算运气好。
traceparent 那段,用锚点和命名分组
解析整个头的时候我推荐直接锚死,别给中间留自由发挥的空间:
^(?P<version>[0-9a-f]{2})-(?P<trace_id>[0-9a-f]{32})-(?P<span_id>[0-9a-f]{16})-(?P<flags>[0-9a-f]{2})$
注意是全小写,W3C 规范里大写的 traceparent 属于非法值,别用 [0-9a-fA-F] 图省事,那样会把脏数据也放进来,后面做去重统计的时候你就知道难受了。
另外 Python 的 re 是 (?P<name>...),PCRE 和 ripgrep 是 (?<name>...) 或者 (?'name'...),这俩别混着抄,我第一次就是直接 Ctrl+C 过来的,跑半天报错还以为正则写错。
别让 .* 吃掉半行日志
从一行日志里抠字段是最高频的场景:
2024-06-11T09:12:33.421Z INFO trace_id=4bf92f3577b34da6a3ce929d0e0e4736 span_id=00f067aa0ba902b7 status=502 duration=128.35ms
一开始我写的是 trace_id=(.*)\s+span_id=(.*),结果日志里如果后面还出现一次 span_id,贪婪匹配就直接一路吃到行尾了。改成 (\S+) 或者把 .* 换成非贪婪 .*? 都行,但个人更推荐 \S+,因为 id 本来就不可能含空格,这样语义更明确,也少一层回溯。
耗时字段,单位是个坑
匹配 duration 的时候千万别写 \d+ms,真实日志里 128ms、128.35ms、1.2s、980us 混着来:
(?P<duration>\d+(?:\.\d+)?)(?P<unit>ns|us|µs|ms|s)\b
注意 \b 放在 s 后面,不然 ms 会被 s 先吃掉一半。还有 µs 那个字符是 U+00B5,不是普通 u,从日志里复制过来的时候很容易变成乱码,这个坑我踩过不止一次。真要统一处理,建议正则只负责拆,单位换算交给后面的代码。
灾难性回溯这东西,真的会卡死
写个 (?:[0-9a-f]+-?)+ 看着挺聪明,实际上日志里一旦混进一大坨不符合的字符,回溯次数能直接飙到几十万,进程 CPU 拉满。链路追踪正则基本都是对着高并发日志跑的,尤其别在服务里用正则做实时过滤。简单点,能写成确定结构的就别用嵌套量词,{16,32} 比 + 安全得多。
用 rg 先粗筛,再上正则
几十 G 的日志,别上来就跑 Python 脚本。先:
rg -P '(?<trace_id>[0-9a-f]{32})' app.log | head -n 20
-P 打开 PCRE2,命名分组、回溯引用都能用。确认能匹配上了,再把表达式搬进脚本里。这个流程我强烈推荐,正则在日志里出问题,九成是样本和你想的不一样,而不是语法写错。
最后一点小心得
匹配 trace id 这件事,本质不是考验正则写得多花,而是你对日志格式有多熟。多拿几条真实日志跑一跑,把 \b、锚点、非贪婪这些基础东西用对,比堆复杂表达式靠谱得多。实在拿不准就分两步:先匹配出包含 trace 的那一段,再从段里抠字段,慢一点,但稳。
评论
还没有评论。
发表评论
提交后评论将经过自动审核,审核通过后公开展示。