文件系统的问题往往先在延迟和 I/O 模式上露出马脚,但传统工具要么粒度太粗,要么开销太大。eBPF 让我们能在 VFS 与块层的关键路径上挂探针,以极低开销还原每一次读写的来龙去脉。本文从探针点选择讲起,给出一套可落地的实时 I/O 分析引擎设计。
一、为什么用 eBPF 做文件监控
1.1 传统手段的局限
iostat、vmstat只有设备级聚合,回答不了「哪个进程、哪个文件」。strace能追系统调用,但 ptrace 停顿开销巨大,生产不可用。- 内核 tracepoint 需要额外框架,配置复杂且版本耦合。
1.2 eBPF 的优势
- 探针在内核态执行,无需切换用户态采集,开销低。
- 支持聚合、过滤、哈希统计,避免海量事件上报。
- 通过 map 与用户态通信,按需导出结果。
- CO-RE(一次编译到处运行)降低内核版本耦合。
二、VFS 层探针点
2.1 关键路径
vfs_read/vfs_write:所有文件读写的统一入口,能拿到文件路径与进程信息。vfs_open、vfs_unlink、vfs_rename:元数据变更路径。filemap_fault:缺页中断,反映真正的磁盘读。add_to_page_cache:页缓存命中与加载。
2.2 kprobe 与 tracepoint 的选择
- tracepoint 参数稳定、性能略好,优先使用。
- kprobe 更灵活,可挂到任意内核函数,但要小心版本差异。
- 对热点函数(如
vfs_read)要控制采集量,避免 map 竞争。
2.3 能拿到什么上下文
- 进程 PID、进程名、cgroup 与容器信息。
- 文件路径(
dentry遍历)、inode、读写偏移与长度。 - 返回值与耗时,用于区分成功/失败与慢 I/O。
三、挂载与采集
3.1 程序结构
- 入口函数挂在
vfs_read/vfs_write,出口用 kretprobe 计算耗时。 - 用
BPF_HASH按 (pid, file) 聚合读写字节数与次数。 - 用
BPF_PERF_OUTPUT上报慢 I/O 等异常事件。
3.2 路径获取
- 从
struct file的f_path遍历dentry,逐段拼接文件名。 - 注意 dentry 可能正在变化,必要时用
bpf_d_path辅助。 - 对匿名文件、管道、socket 要区分处理,避免误报。
3.3 过滤与降噪
- 按进程名、cgroup、文件前缀过滤,只关心目标负载。
- 采样上报慢事件,而不是全量事件。
- 在内核态先做阈值判断,减少用户态压力。
四、数据聚合与实时分析
4.1 聚合维度
- 按进程、容器、文件、目录多层聚合,支持下钻。
- 统计 QPS、吞吐、平均延迟、P99 延迟。
- 区分读/写、顺序/随机、命中缓存/落盘。
4.2 用户态引擎
- 周期性从 map 拉取计数,计算增量与速率。
- 维护时间窗口,做滑动聚合与异常检测。
- 将热点文件、热点进程、慢 I/O 排行榜可视化。
4.3 与现有体系对接
- 输出 Prometheus 指标,接入 Grafana。
- 以 OpenTelemetry 事件形式导出,统一可观测性栈。
- 对异常模式触发告警,如突发写放大、元数据风暴。
五、性能开销控制
5.1 常见开销来源
- 探针函数本身的执行与 map 更新。
- 大量事件上报导致的 ring buffer 竞争。
- 路径遍历在深目录下的多次内存访问。
5.2 优化手段
- 尽量在内核态聚合,只上报聚合结果。
- 用 percpu map 减少 CPU 间锁竞争。
- 对非目标进程/目录提前 return。
- 控制采样率,按场景权衡精度与开销。
5.3 稳定性
- 探针函数名在不同内核版本可能变化,要做兼容层。
- 避免在探针里做可能睡眠的操作。
- 设置 map 大小上限,防止内存无限增长。
六、典型场景
6.1 定位慢文件
- 找出 P99 延迟最高的文件与进程,判断是磁盘、网络文件系统还是锁竞争。
- 结合页缓存命中率,区分真正的磁盘 I/O 与内存访问。
6.2 写放大分析
- 统计日志、数据库、容器可写层的写入量,识别异常写入源。
- 对频繁小文件写入做合并建议。
6.3 元数据风暴
- 监控
open/stat/unlink频率,定位遍历型程序。 - 对配置中心、服务发现等场景的频繁探测做告警。
结语
eBPF 把文件系统的可观测性从「设备级聚合」推进到「进程级、文件级、耗时级」。关键在于选对探针点、在内核态尽量聚合、并把路径与上下文还原做好。开销控制住之后,它就能作为常驻能力,持续守护存储链路的稳定。

发表评论 取消回复