深入理解 Linux 熔断 的工作机制
我一开始看到“Linux 熔断”这四个字,脑子里冒出来的是 Hystrix、Sentinel 那种东西,后来在服务器上真碰到 CPU 被 offline,才发现内核里的熔断跟业务层完全不是一个画风。业务层熔断是怕下游拖死自己,内核熔断更像是怕一个硬件错误把整台机器带走。
严格说,你在内核源码里搜不到一个叫 circuit_breaker.c 的文件。Linux 里的“熔断”不是单一模块,而是一组保护动作的集合:温度太高就降频甚至关机,内存出错就隔离坏页,CPU 报机器检查异常就记录、杀当前任务,严重时直接 panic。下面是我自己排查时整理出来的链路,先说明,这里说的不是业务代码里的熔断器。
先说我遇到的现象
有台机器跑着跑着,业务进程突然没了一个,dmesg 里能看到类似 mce: [Hardware Error] 的字样,再去看 CPU 状态,发现某个核已经不在 online 列表里了。我第一反应是“谁把 CPU 下线了”,后来才明白,这中间可能隔着内核的 MCE 处理、RAS 守护进程,甚至还有运维脚本。
先看几个最直接的状态:
dmesg -T | grep -iE 'mce|machine check|thermal|critical|offline|cpu'
cat /sys/devices/system/cpu/online
cat /sys/devices/system/cpu/offline
lscpu -e
如果 offline 不是空的,说明至少有过 CPU 热插拔动作。注意,这不等于“内核一检测到 MCE 就自动把 CPU 拔了”,很多场景下内核负责记录和判定,真正执行 CPU offline 的可能是用户态 RAS 工具或者人工脚本。这个地方很容易想当然。
内核里的熔断到底在熔什么
我更愿意把 Linux 的熔断理解成“错误隔离 + 保命策略”。它不追求让业务无感,而是尽量别让一个局部错误扩散成整机崩溃。
以 x86 的 MCE 为例,硬件通过 Machine Check Exception 上报错误,内核的 MCE 子系统会读取 bank、status、地址这些信息,然后按严重程度处理。可纠正错误通常记录日志,可能顺手做页隔离;不可纠正错误如果还能救,就尝试杀掉触发错误的当前任务;如果连当前上下文都保不住,那就 panic。你看到的“进程没了”“机器重启了”,可能都是这条链路上的不同分支。
内核参数也会影响行为,比如 mce=ignore_ce 只是让可纠正错误别老刷日志,不是把硬件问题修好了。别看到日志干净了就以为没事。
从 MCE 到 CPU offline 的链路
排查时我会先确认 MCE 到底有没有被用户态接住。老一点的环境用 mcelog,新一点的用 rasdaemon:
ras-mc-ctl --status
ras-mc-ctl --errors
如果机器上没装,也可以直接看内核日志和 tracepoint。MCE 事件会进内核日志,RAS 工具再把它落库。CPU offline 则是通过 /sys/devices/system/cpu/cpuN/online 这个热插拔接口完成的:
cat /sys/devices/system/cpu/cpu3/online
echo 0 > /sys/devices/system/cpu/cpu3/online
echo 1 > /sys/devices/system/cpu/cpu3/online
我踩过的坑是:看到 CPU offline 就急着 echo 1 把它拉回来。这样确实能让 lscpu 好看一点,但如果根因是内存控制器或者 CPU 缓存报错,拉回来可能继续报错。正确顺序是先看 MCE 记录、EDAC 计数和硬件日志,确认不是持续性故障,再决定要不要恢复。
热熔断是另一条线
除了 MCE,另一条常见的熔断链路是 thermal。内核的 thermal framework 会读温度传感器,每个 thermal zone 下面有一组 trip point,类型一般是 passive、active、hot、critical。到了 passive 可能触发 cpufreq cooling device 降频,到了 critical 就是最后一道保护,默认可能直接 orderly poweroff。
看状态不难:
ls /sys/class/thermal/
cat /sys/class/thermal/thermal_zone0/type
cat /sys/class/thermal/thermal_zone0/temp
grep . /sys/class/thermal/thermal_zone0/trip_point_*_type
grep . /sys/class/thermal/thermal_zone0/trip_point_*_temp
如果 temp 已经贴近 critical,那机器重启就别先怀疑业务代码了。有人会加 thermal.nocrt=1 把 critical 关机关掉,我建议别这么干,这等于把保险丝换成铜丝,短期能开机,长期烧硬件。
几个容易踩的坑
第一,别拿业务层熔断的“半开状态”去套内核。内核没有半开,它只有错误分级和动作选择。第二,panic_on_oops 不是熔断开关,它只是让 oops 更早变成 panic。第三,CPU offline 不一定是坏事,有时候是 RAS 策略在隔离故障核;你要做的是记录和告警,而不是无脑恢复。第四,监控 /sys/devices/system/cpu/offline 比看负载曲线更直接,非空就值得看一眼。
我现在会把 dmesg 里的 MCE、thermal critical、CPU offline 三类事件单独做告警。Linux 的熔断机制不花哨,甚至有点“各管一段”,但真出问题时,它至少给了你一条能顺着查下去的线索。
评论
还没有评论。
发表评论
提交后评论将经过自动审核,审核通过后公开展示。