正则表达式进阶:限流 匹配技巧
先说说我被正则坑的那次
之前写一个日志清洗脚本,本来以为就是个简单的字符串替换,结果正则一跑,CPU 直接飙到 100%,风扇跟起飞一样。等了半天没出结果,我还以为是硬盘卡了,后来把正则单独拎出来测,才发现是 .* 写得太随意,中间又套了几层可选分组,活生生把正则引擎逼进了灾难性回溯。
那次之后我才认真去看“限流匹配”这件事。说白了,正则不是写得越万能越好,很多时候你得主动告诉引擎:别乱跑、别乱回溯、匹配到这儿就够了。下面这些技巧,都是我在实际踩坑之后慢慢用顺手的,不是教科书式的罗列。
量词别上来就 .*
新手最容易写的就是 .*,感觉能匹配一切,实际上它也是回溯大户。比如你想从一行日志里取方括号里的内容,写 \[.*\] 其实也能用,但如果一行里有多个方括号,它就会贪婪地吃到最后一个 ]。这时候通常改成 \[.*?\],也就是惰性量词,让它匹配到第一个 ] 就停。
但惰性量词也不是银弹,它只是换了一种回溯方式。真正想“限流”,可以看看你用的语言支持不支持占有量词。比如 Java 里的 .*+,它会尽可能多地匹配,而且不 backtrack。Python 3.11 之后也支持了占有量词和原子组,像 .*+、(?>...) 都能用。我现在的习惯是:只要一段内容不需要回溯,就尽量用占有量词或者原子组把路堵死,引擎会少很多无效尝试。
import re
text = "rate limit: [ip=1.2.3.4] [count=100]"
# 贪婪:会吃到最后一个 ]
print(re.search(r"\[.*\]", text).group())
# 惰性:匹配到第一个 ] 就停
print(re.search(r"\[.*?\]", text).group())
# Python 3.11+ 可以用占有量词,避免回溯
print(re.search(r"\[.*+\]", text).group())
用字符类把匹配范围关起来
.* 的问题在于它什么都能吃,包括换行、空格、标点。如果你明确知道要匹配的是数字、字母或者某几个符号,直接用字符类比 .* 稳得多。比如匹配 IP 地址,别上来就 .*,写成 [0-9.]+ 至少不会把整行日志都吞进去。
再比如匹配限流日志里的计数,count=(\d+) 就比 count=(.*) 靠谱。\d+ 只会吃数字,遇到空格或者换行自然停下,回溯次数也少。很多时候正则跑得慢,不是引擎不行,是写得太贪了。
log = "2024-05-01 12:00:00 WARN rate limit exceeded ip=10.0.0.8 count=120"
m = re.search(r"ip=([0-9.]+)\s+count=(\d+)", log)
print(m.group(1), m.group(2))
非捕获组和命名分组,能省一点是一点
以前我特别喜欢用 (...) 把什么都包起来,后来发现如果只是分组,不打算取出来,完全可以用 (?:...) 非捕获组。它不会保存匹配内容,引擎少一点开销。尤其在长正则里,能少一个捕获组就少一个。
命名分组则是另一个方向:不是为了省性能,而是为了后面取值别数括号。像 (?P<ip>[0-9.]+) 这种,取的时候直接 m.group("ip"),比 m.group(3) 清楚太多。写限流规则的时候,字段一多,数括号真的会数错。
pattern = r"(?P<ip>[0-9.]+)\s+count=(?P<count>\d+)"
m = re.search(pattern, log)
print(m.group("ip"))
print(m.group("count"))
断言适合做“限流条件”
有时候你不想消费字符,只想判断某个位置前后是不是符合条件,这时候环视就很有用。比如匹配“后面不是数字”的 foo,可以写 foo(?!\d);匹配“前面是空格”的 bar,可以写 (?<=\s)bar。
我在处理限流日志时用过类似 (?<=\s)ip= 这种,先把位置卡在 ip= 前面,再取后面的内容。它不会把前面的空格吃进去,后续替换或者拼接的时候省事。不过环视也别乱套,尤其嵌套环视加量词,回溯一样会炸。能用锚点和字符类解决的事,尽量别上复杂断言。
给正则加一个“限流阀”
有些语言的正则引擎本身不提供超时,比如 Python 标准库 re 就没有 timeout 参数。以前我只能靠 signal 硬超时,或者把正则写得尽量保守。后来用 regex 模块,发现它直接支持 timeout,这时候才觉得心里有底。
import regex
try:
m = regex.search(r"(a+)+b", "aaaaaaaaaaaaaaaaaaaaaaaaaaaaaa", timeout=1)
except TimeoutError:
print("正则跑太久了,直接掐掉")
这个例子里的 (a+)+b 就是典型的灾难性回溯写法,遇到一长串 a 又没有 b,引擎会疯狂尝试各种组合。实际写正则时,尽量别写嵌套量词,像 (a+)+、(.*)* 这种,能拆就拆,能锚定就锚定。实在拆不了,至少给个超时,别让一个正则把整个服务拖死。
锚点和边界,别让引擎从头找到尾
最后说一个特别小但很有用的点:能加锚点就加锚点。如果你只关心一行开头是不是某个模式,写 ^pattern 比直接 pattern 快得多,因为引擎不会在每一行中间反复尝试。匹配单词边界用 \b,匹配整行用 ^...$,这些都是在给正则“限流”——告诉它从哪儿开始、到哪儿结束,别满世界乱找。
我现在的习惯是,写完一个正则先拿最长的日志跑一遍,看看耗时;如果明显不对劲,就先检查有没有 .* 套 .*、有没有嵌套量词、有没有不必要的捕获组。大部分性能问题,改完这几处就正常了。正则这东西,写得能用不难,写得稳、写得快,还是得稍微克制一点。
评论
还没有评论。
发表评论
提交后评论将经过自动审核,审核通过后公开展示。