小Cの已经记不起来的博客

正则表达式进阶:消息队列 匹配技巧

前几天排查一个消费积压的问题,本来只是想从日志里把某条消息捞出来,结果写着写着发现消息队列里的正则跟平时匹配网页文本完全不是一回事。日志里混着 topic、partition、offset、traceId,还有被转义过的 JSON 消息体,一开始图省事写了个 .*,匹配是能匹配,但取出来的东西完全不对,要么把整行都吃掉了,要么跨到了下一条日志。下面是我这阵子踩坑之后整理出来的几个匹配技巧,都是能直接用在日志采集和消费端排查里的。

先把日志行的骨架拆出来

消息队列的日志一般都有比较稳定的骨架,比如 Kafka 消费者日志经常长这样:

2024-05-12 10:23:45,123 INFO [Consumer clientId=consumer-1, groupId=order-group] Subscribed to topic order.created, partition=3, offset=88231

这种行不要一上来就写一个大而全的正则,先把时间、线程名、topic、partition、offset 分开锚定:

^(?<ts>\d{4}-\d{2}-\d{2} \d{2}:\d{2}:\d{2},\d{3})\s+\w+\s+\[Consumer clientId=(?<client>[^,]+), groupId=(?<group>[^\]]+)\].*?topic\s+(?<topic>[^\s,]+),\s+partition=(?<partition>\d+),\s+offset=(?<offset>\d+)

这里的关键是 [^,]+ 和 [^\]]+,不要用 .+。日志里逗号、右括号都是很明确的边界,用否定字符集比贪婪匹配稳得多。命名捕获组也建议顺手加上,后面取字段的时候不用数第几个括号,代码可读性会好很多。

Topic 和 Queue 名别用 \w+

我一开始匹配 topic 就写了 \w+,本地测试没问题,到了线上发现有的 topic 叫 order.created.v2,有的队列名带横线,还有的带百分号编码。\w 只认字母数字下划线,点、横线全给你截断。比较稳妥的写法是按实际命名规范限定字符集,比如:

(?<topic>[A-Za-z0-9._-]+)

如果你们的队列名允许更多字符,就显式写进去。不要为了省事写 .+?,因为它遇到空格、逗号、右括号时不一定停,后面很容易把 partition 也吞进去。消息队列里的名称字段通常有明确分隔符,能用字符集就用字符集。

消息体匹配:能用 JSON 解析就别硬正则

消息体是正则最容易翻车的地方。比如日志里经常出现这种被转义过的 JSON:

payload="{\"orderId\":123,\"status\":\"PAID\",\"traceId\":\"9f2c1a7b\"}"

如果只是想把这个字符串字段完整取出来,可以用:

"payload":"(?<payload>(?:\\.|[^"\\])*)"

(?:\\.|[^"\\])* 的意思是:要么匹配一个反斜杠加任意字符,要么匹配非引号非反斜杠的普通字符。这样里面的 \" 不会被当成字段结束。比直接写 ".*" 靠谱得多。

但如果你要解析 JSON 内部字段,我真心建议正则只负责定位,解析交给 JSON 库。比如先用正则找到 payload= 后面的起始位置,再截取出来丢给 JSON.parse。消息体里一旦出现嵌套对象、数组、括号,正则的括号匹配就会变得非常难受,写到最后基本是在用正则实现一个半吊子 JSON parser,不值当。

多行消息和跨行日志

有些消息体是格式化的多行 JSON,或者异常栈跟消息打在一起。这时候会用到 (?s),让 . 匹配换行:

(?s)消费失败.*?traceId=(?<trace>[0-9a-f]{32})

但 (?s) 不要随便开到整段日志上,不然 .* 会从第一条失败日志一路吃到文件末尾。我的习惯是:只在明确的一段范围内开 DOTALL,并且后面跟一个强结束标志,比如下一条日志的时间戳、空行或者 --- 分隔符。能不用跨行就不用跨行,日志采集阶段按行处理通常更稳。

命名捕获组和 \K 能让提取干净

PCRE 里有个很好用的 \K,可以重置匹配起点。比如只想拿 TraceId 的值,不想把前面的 TraceId= 也带出来:

TraceId=\K[0-9a-f]{32}

不过这个要看你的正则引擎。Java 的 java.util.regex 支持命名捕获组,但不支持 \K;Go 的 RE2 不支持 lookbehind 和反向引用,命名组写法也得用 (?P<name>...)。消息队列的日志采集器可能是 Java、Go、Rust 写的,写正则之前最好确认一下引擎。跨引擎的稳妥写法还是老老实实加捕获组:

TraceId=(?<trace>[0-9a-f]{32})

然后取 group,不依赖那些花哨语法。

贪婪、回溯和消费者性能

消息队列日志有个特点:单行可能很长,消息体可能很大。正则写不好,回溯能把采集线程拖死。像 (.*)*、(.+)+ 这种嵌套量词尽量别写,尤其是前面没有锚点的时候。能用 [^,]*、[^"]* 这种否定字符集,就别用 .*?。

另外,大消息进正则之前可以先做一次简单的 contains 判断,比如先看日志行里有没有 traceId=,没有再走正则。Java 里 Pattern.compile 记得缓存,不要每行都编译一次。正则本身也尽量从行首锚定 ^,让引擎早点失败,而不是从头扫到尾。

一个能直接抄的混合日志提取片段

如果日志字段顺序比较固定,可以用一条正则把常用字段一起捞出来:

^(?<ts>\d{4}-\d{2}-\d{2}[ T]\d{2}:\d{2}:\d{2}[.,]\d{3}).*?(?:topic|Topic)[=:]\s*(?<topic>[A-Za-z0-9._-]+).*?(?:offset|Offset)[=:]\s*(?<offset>\d+).*?(?:msgId|messageId|Message ID)[=:]\s*(?<msgId>[0-9A-F]{16,32}).*?(?:traceId|TraceId)[=:]\s*(?<trace>[0-9a-fA-F-]{16,36})

但说实话,如果字段顺序不固定,我不建议硬写这种大统一正则。更稳的做法是按字段拆成几条小正则,分别提取,最后在代码里合并。消息队列的日志字段虽然多,但每个字段的边界通常很清楚,拆开写反而更容易维护。正则只负责把值捞出来,结构化解析交给后面的代码,这样后面改起来也轻松。

评论

还没有评论。

发表评论

提交后评论将经过自动审核,审核通过后公开展示。

未在播放