内核崩溃最怕的不是宕机,而是"重启完什么都不剩"——没有 vmcore 的 hard lockup,事故复盘只能靠猜。
一、问题定位
生产环境的内核崩溃分成两类:能留下痕迹的(panic、oops、BUG)和什么都不留的(hard lockup、NMI 超时、固件把 CPU 挂死)。后者在数据库与高负载存储节点上尤其常见:PostgreSQL 在 NVMe 固件异常触发的中断风暴里卡死,watchdog 没配、kdump 没起,机器只能硬重启,现场蒸发。没有 kexec 与 kdump,SRE 得到的只有一条"机器重启了"的监控记录。
第二个典型失败模式是"配了但没生效":crashkernel= 参数写了,但预留内存被内核启动时的内存布局吃掉;kdump.service 显示 active,但 /etc/kdump.conf 的 path 目录权限或文件系统不支持;makedumpfile 过滤参数把关键页滤掉,vmcore 打开了却看不到崩溃栈。这些问题的共同点是:kdump 是"启动期预留、运行期服务、崩溃期切换、事后落盘"四段链路,任何一段断裂都表现为"没抓到 core"。
第三类是分析工具链断裂。crash 对 vmlinux 的版本敏感,生产机只装 debuginfo 或只靠发行版 kernel-debuginfo,一旦版本号对不上,bt、struct 全部报错;再加上常见的签名内核(Secure Boot)与虚拟化嵌套环境限制,kexec 加载被拒绝,排查直接停在第一公里。
1.1 为什么现在更值得讨论
- 内核迭代与固件复杂度上升:新硬件、新驱动、新安全补丁让"偶发 lockup"更难复现,事后取证从可选变成必需。
- 高负载数据库与存储节点:NVMe、持久内存与 IO 调度路径长,一次固件 bug 可能同时触发 hard lockup 与数据一致性问题,需要 vmcore 佐证。
- 合规与复盘要求:金融、电信、云厂商对重大事故要求根因报告,"重启后恢复"不再等同于"问题解决"。
二、按要点拆解:kexec、kdump 与 crash
2.1 kexec 与 kdump 的内核机制
kexec 允许在不经过 BIOS、UEFI 与引导加载器的情况下,直接把一个新内核加载到内存并跳转执行。kdump 利用这一点:正常运行的生产内核在启动时通过 crashkernel= 预留一块内存,里面预先加载一个捕获内核(capture kernel)与 initramfs;当生产内核 panic 或 watchdog 触发时,kexec 切换到捕获内核,由它把崩溃现场(含生产内核的内存、寄存器、栈)写成 vmcore。
- panic 路径:
panic()会同步尝试crash_kexec(),成功则切换捕获内核;失败(如关键结构已损坏)则走传统重启。 - watchdog 触发:softlockup 与 hardlockup 检测依赖
nmi_watchdog(或 hypervisor 侧机制),触发后走panic路径;若 CPU 完全挂死且 NMI 无法送达,就只能靠外部看门狗重启,现场全丢。 - 预留内存:
crashkernel=256M或crashkernel=auto,预留区在启动期从生产内核可用内存中划出,大小不足会导致捕获内核加载失败。
2.2 配置链路:从内核参数到 vmcore 落盘
完整链路是四段:启动参数预留、服务装配 capture kernel、崩溃时切换、事后落盘与过滤。
- 内核参数:在 GRUB 的
GRUB_CMDLINE_LINUX里加crashkernel=auto,并确认nmi_watchdog=1;改完执行grub2-mkconfig并重启验证/sys/kernel/kexec_crash_size。 - 服务装配:
systemctl enable --now kdump;RHEL 系用kdumpctl status看状态,SUSE 系多为kdump.service。服务会按/etc/kdump.conf生成 capture kernel 的 initramfs 并调用 kexec 预加载。 - 落盘与过滤:
/etc/kdump.conf里path /var/crash,core_collector makedumpfile -l --message-level 1 -d 31;-d控制过滤页类型(匿名页、缓存页等),级别越高文件越小但越可能丢证据,生产建议从-d 31起步再按需收紧。 - 验证:用
echo c > /proc/sysrq-trigger(或先sysctl kernel.sysrq=1)主动制造 panic,确认/var/crash/<host>-<date>/vmcore生成,且kdumpctl status无报错。
2.3 crash 工具:从 vmcore 到根因
crash 是离线分析 vmcore 的利器,用法是 crash /usr/lib/debug/lib/modules/$(uname -r)/vmlinux vmcore。核心命令分三层:
- 定位崩溃点:
bt看崩溃 CPU 栈,bt -a看全部 CPU,log取内核 log ring,sys看命令与 PID,ps看进程状态(R运行、D不可中断睡眠是 IO 与锁等待的关键信号)。 - 还原现场:
kmem -i看内存使用,kmem -z看 slab 与 zone,files看进程打开的文件,irq看中断分布,runq看运行队列,net看网络设备与队列,dev看块设备与请求队列。 - 深入数据结构:
struct <type> <addr>展开结构体,rd与wr读写内存,dis反汇编,search在内存里找特征串,alias简化长命令;配合set <pid>切换进程上下文。
以 PostgreSQL 加 NVMe 固件 hard lockup 为例:先看 bt -a 确认是否所有 CPU 都卡在同一个 nvme 完成队列或 io_schedule;再用 log 找固件报错与 AER 记录;用 irq 与 dev 确认中断是否停止投递;最后用 struct 检查请求队列与 bio 状态,判断是固件挂死、驱动死锁还是文件系统层阻塞。
三、最小可运行实现
思路:把"预留、装配、验证、分析"做成一条可复现链路。以下命令以 RHEL 系为例,Debian 系把 kdumpctl 换成对应工具。
# 1) 内核参数(GRUB)
grep -q crashkernel /etc/default/grub || \
sed -i 's/GRUB_CMDLINE_LINUX="/GRUB_CMDLINE_LINUX="crashkernel=auto nmi_watchdog=1 /' /etc/default/grub
grub2-mkconfig -o /boot/grub2/grub.cfg
reboot
# 2) 验证预留与预加载
cat /sys/kernel/kexec_crash_size # 非 0 说明预留成功
systemctl enable --now kdump
kdumpctl status # 应显示 "Kdump is operational"
# 3) 配置落盘与过滤
cat > /etc/kdump.conf <<'EOF'
path /var/crash
core_collector makedumpfile -l --message-level 1 -d 31
extra_bins /usr/bin/numactl
EOF
systemctl restart kdump
# 4) 主动触发验证(谨慎:会立即宕机!)
mkdir -p /var/crash && systemctl restart kdump
echo 1 > /proc/sys/kernel/sysrq && echo c > /proc/sysrq-trigger
# 重启后检查
ls -lh /var/crash/*/vmcore
# 5) 分析
crash /usr/lib/debug/lib/modules/$(uname -r)/vmlinux /var/crash/*/vmcore
# crash 内常用命令:
# bt -a | head -80
# log | grep -iE 'nvme|aer|bug|call trace' | head
# ps | grep -E 'D|R'
# kmem -i
# irq; dev; runq
# struct nvme_dev <addr>
四、常见坑与排查
- 预留内存为 0:
cat /sys/kernel/kexec_crash_size为 0 时,确认crashkernel=参数生效(查/proc/cmdline),必要时显式写crashkernel=512M并检查是否被memmap预留区占用。 - kdump 服务 active 但没抓到:看
journalctl -u kdump与/var/log/messages,确认 capture kernel 加载成功、/var/crash可写、磁盘空间足够(vmcore 常与内存同量级)。 - vmcore 打不开:确认
crash与vmlinux或 debuginfo 版本严格匹配(kernel-release一致);版本不符时重装匹配包,别硬读。 - NMI 与 watchdog 没触发:确认
nmi_watchdog=1且 hypervisor 未屏蔽 NMI;VMware 与 KVM 环境检查虚拟 NMI 支持,物理机确认 BIOS 未禁用。 - Secure Boot 导致 kexec 被拒:签名内核下捕获内核也要签名,或临时在固件层面放行;生产机优先走"已签名 capture kernel"路线。
- 过滤过度丢证据:
makedumpfile -d从 31 起步;若分析时缺页,用未过滤或低级别过滤重抓,前提是预留与磁盘空间允许。
五、结语
kexec、kdump、crash 三件套的价值不在"能抓 core",而在"每一次内核死亡都留下可分析的证据"。落地建议:先在测试机用 sysrq 主动触发验证整条链路,再对数据库、存储、网络等高价值节点灰度开启;crashkernel=auto 与 makedumpfile -d 31 是保守起点,之后按磁盘成本与分析需求收敛。最后记住顺序:先保证抓得到,再保证抓得全,最后才是抓得快。

发表评论 取消回复