内核崩溃最怕的不是宕机,而是"重启完什么都不剩"——没有 vmcore 的 hard lockup,事故复盘只能靠猜。

一、问题定位

生产环境的内核崩溃分成两类:能留下痕迹的(panic、oops、BUG)和什么都不留的(hard lockup、NMI 超时、固件把 CPU 挂死)。后者在数据库与高负载存储节点上尤其常见:PostgreSQL 在 NVMe 固件异常触发的中断风暴里卡死,watchdog 没配、kdump 没起,机器只能硬重启,现场蒸发。没有 kexec 与 kdump,SRE 得到的只有一条"机器重启了"的监控记录。

第二个典型失败模式是"配了但没生效":crashkernel= 参数写了,但预留内存被内核启动时的内存布局吃掉;kdump.service 显示 active,但 /etc/kdump.conf 的 path 目录权限或文件系统不支持;makedumpfile 过滤参数把关键页滤掉,vmcore 打开了却看不到崩溃栈。这些问题的共同点是:kdump 是"启动期预留、运行期服务、崩溃期切换、事后落盘"四段链路,任何一段断裂都表现为"没抓到 core"。

第三类是分析工具链断裂。crash 对 vmlinux 的版本敏感,生产机只装 debuginfo 或只靠发行版 kernel-debuginfo,一旦版本号对不上,bt、struct 全部报错;再加上常见的签名内核(Secure Boot)与虚拟化嵌套环境限制,kexec 加载被拒绝,排查直接停在第一公里。

1.1 为什么现在更值得讨论

  • 内核迭代与固件复杂度上升:新硬件、新驱动、新安全补丁让"偶发 lockup"更难复现,事后取证从可选变成必需。
  • 高负载数据库与存储节点:NVMe、持久内存与 IO 调度路径长,一次固件 bug 可能同时触发 hard lockup 与数据一致性问题,需要 vmcore 佐证。
  • 合规与复盘要求:金融、电信、云厂商对重大事故要求根因报告,"重启后恢复"不再等同于"问题解决"。

二、按要点拆解:kexec、kdump 与 crash

2.1 kexec 与 kdump 的内核机制

kexec 允许在不经过 BIOS、UEFI 与引导加载器的情况下,直接把一个新内核加载到内存并跳转执行。kdump 利用这一点:正常运行的生产内核在启动时通过 crashkernel= 预留一块内存,里面预先加载一个捕获内核(capture kernel)与 initramfs;当生产内核 panic 或 watchdog 触发时,kexec 切换到捕获内核,由它把崩溃现场(含生产内核的内存、寄存器、栈)写成 vmcore。

  • panic 路径:panic() 会同步尝试 crash_kexec(),成功则切换捕获内核;失败(如关键结构已损坏)则走传统重启。
  • watchdog 触发:softlockup 与 hardlockup 检测依赖 nmi_watchdog(或 hypervisor 侧机制),触发后走 panic 路径;若 CPU 完全挂死且 NMI 无法送达,就只能靠外部看门狗重启,现场全丢。
  • 预留内存:crashkernel=256M 或 crashkernel=auto,预留区在启动期从生产内核可用内存中划出,大小不足会导致捕获内核加载失败。

2.2 配置链路:从内核参数到 vmcore 落盘

完整链路是四段:启动参数预留、服务装配 capture kernel、崩溃时切换、事后落盘与过滤。

  • 内核参数:在 GRUB 的 GRUB_CMDLINE_LINUX 里加 crashkernel=auto,并确认 nmi_watchdog=1;改完执行 grub2-mkconfig 并重启验证 /sys/kernel/kexec_crash_size。
  • 服务装配:systemctl enable --now kdump;RHEL 系用 kdumpctl status 看状态,SUSE 系多为 kdump.service。服务会按 /etc/kdump.conf 生成 capture kernel 的 initramfs 并调用 kexec 预加载。
  • 落盘与过滤:/etc/kdump.conf 里 path /var/crash,core_collector makedumpfile -l --message-level 1 -d 31;-d 控制过滤页类型(匿名页、缓存页等),级别越高文件越小但越可能丢证据,生产建议从 -d 31 起步再按需收紧。
  • 验证:用 echo c > /proc/sysrq-trigger(或先 sysctl kernel.sysrq=1)主动制造 panic,确认 /var/crash/<host>-<date>/vmcore 生成,且 kdumpctl status 无报错。

2.3 crash 工具:从 vmcore 到根因

crash 是离线分析 vmcore 的利器,用法是 crash /usr/lib/debug/lib/modules/$(uname -r)/vmlinux vmcore。核心命令分三层:

  • 定位崩溃点:bt 看崩溃 CPU 栈,bt -a 看全部 CPU,log 取内核 log ring,sys 看命令与 PID,ps 看进程状态(R 运行、D 不可中断睡眠是 IO 与锁等待的关键信号)。
  • 还原现场:kmem -i 看内存使用,kmem -z 看 slab 与 zone,files 看进程打开的文件,irq 看中断分布,runq 看运行队列,net 看网络设备与队列,dev 看块设备与请求队列。
  • 深入数据结构:struct <type> <addr> 展开结构体,rd 与 wr 读写内存,dis 反汇编,search 在内存里找特征串,alias 简化长命令;配合 set <pid> 切换进程上下文。

以 PostgreSQL 加 NVMe 固件 hard lockup 为例:先看 bt -a 确认是否所有 CPU 都卡在同一个 nvme 完成队列或 io_schedule;再用 log 找固件报错与 AER 记录;用 irq 与 dev 确认中断是否停止投递;最后用 struct 检查请求队列与 bio 状态,判断是固件挂死、驱动死锁还是文件系统层阻塞。

三、最小可运行实现

思路:把"预留、装配、验证、分析"做成一条可复现链路。以下命令以 RHEL 系为例,Debian 系把 kdumpctl 换成对应工具。

# 1) 内核参数(GRUB)
grep -q crashkernel /etc/default/grub || \
  sed -i 's/GRUB_CMDLINE_LINUX="/GRUB_CMDLINE_LINUX="crashkernel=auto nmi_watchdog=1 /' /etc/default/grub
grub2-mkconfig -o /boot/grub2/grub.cfg
reboot

# 2) 验证预留与预加载
cat /sys/kernel/kexec_crash_size        # 非 0 说明预留成功
systemctl enable --now kdump
kdumpctl status                         # 应显示 "Kdump is operational"

# 3) 配置落盘与过滤
cat > /etc/kdump.conf <<'EOF'
path /var/crash
core_collector makedumpfile -l --message-level 1 -d 31
extra_bins /usr/bin/numactl
EOF
systemctl restart kdump

# 4) 主动触发验证(谨慎:会立即宕机!)
mkdir -p /var/crash && systemctl restart kdump
echo 1 > /proc/sys/kernel/sysrq && echo c > /proc/sysrq-trigger
# 重启后检查
ls -lh /var/crash/*/vmcore

# 5) 分析
crash /usr/lib/debug/lib/modules/$(uname -r)/vmlinux /var/crash/*/vmcore
# crash 内常用命令:
# bt -a | head -80
# log | grep -iE 'nvme|aer|bug|call trace' | head
# ps | grep -E 'D|R'
# kmem -i
# irq; dev; runq
# struct nvme_dev <addr>

四、常见坑与排查

  • 预留内存为 0:cat /sys/kernel/kexec_crash_size 为 0 时,确认 crashkernel= 参数生效(查 /proc/cmdline),必要时显式写 crashkernel=512M 并检查是否被 memmap 预留区占用。
  • kdump 服务 active 但没抓到:看 journalctl -u kdump 与 /var/log/messages,确认 capture kernel 加载成功、/var/crash 可写、磁盘空间足够(vmcore 常与内存同量级)。
  • vmcore 打不开:确认 crash 与 vmlinux 或 debuginfo 版本严格匹配(kernel-release 一致);版本不符时重装匹配包,别硬读。
  • NMI 与 watchdog 没触发:确认 nmi_watchdog=1 且 hypervisor 未屏蔽 NMI;VMware 与 KVM 环境检查虚拟 NMI 支持,物理机确认 BIOS 未禁用。
  • Secure Boot 导致 kexec 被拒:签名内核下捕获内核也要签名,或临时在固件层面放行;生产机优先走"已签名 capture kernel"路线。
  • 过滤过度丢证据:makedumpfile -d 从 31 起步;若分析时缺页,用未过滤或低级别过滤重抓,前提是预留与磁盘空间允许。

五、结语

kexec、kdump、crash 三件套的价值不在"能抓 core",而在"每一次内核死亡都留下可分析的证据"。落地建议:先在测试机用 sysrq 主动触发验证整条链路,再对数据库、存储、网络等高价值节点灰度开启;crashkernel=auto 与 makedumpfile -d 31 是保守起点,之后按磁盘成本与分析需求收敛。最后记住顺序:先保证抓得到,再保证抓得全,最后才是抓得快。

点赞(0) 打赏

评论列表 共有 0 条评论

暂无评论
立即
投稿

微信公众账号

微信扫一扫加关注

发表
评论
返回
顶部