eBPF实战：构建零侵入的可观测性平台

引言

eBPF（Extended Berkeley Packet Filter）正在彻底改变 Linux 系统可观测性的游戏规则。它允许开发者在不修改内核源码、不加载内核模块的情况下，安全地在 Linux 内核中运行自定义程序。这意味着我们可以零侵入地观测系统调用、网络包、函数调用、调度事件等几乎所有内核级别的行为。

一、eBPF 核心机制

eBPF 程序的生命周期：

1. 用 C 编写 eBPF 程序（受限子集）
2. 通过 LLVM/Clang 编译为 eBPF 字节码
3. 使用 bpf() 系统调用加载到内核
4. 内核验证器（Verifier）验证安全性（无死循环、无越界访问、栈大小限制等）
5. JIT 编译为原生机器码执行
6. 通过 Maps（键值存储）与用户态交换数据

关键安全保证：验证器确保 eBPF 程序永远不会崩溃内核、不会无限循环、只能访问授权内存。

二、可观测性三支柱的 eBPF 实现

2.1 Metrics（指标）

通过 kprobe/tracepoint 挂载到内核函数，实时统计延迟分布、吞吐等指标。以 TCP 连接为例：

// BPF 程序片段：统计 TCP 连接建立时间
SEC("kprobe/tcp_v4_connect")
int trace_connect(struct pt_regs *ctx) {
    u64 pid = bpf_get_current_pid_tgid() >> 32;
    u64 ts = bpf_ktime_get_ns();
    bpf_map_update_elem(&start, &pid, &ts, BPF_ANY);
    return 0;
}

SEC("kretprobe/tcp_v4_connect")
int trace_connect_ret(struct pt_regs *ctx) {
    u64 pid = bpf_get_current_pid_tgid() >> 32;
    u64 *tsp = bpf_map_lookup_elem(&start, &pid);
    if (tsp) {
        u64 delta = bpf_ktime_get_ns() - *tsp;
        // 记录到 histogram map
        hist_key_t key = { .slot = bpf_log2l(delta / 1000) };
        u64 *count = bpf_map_lookup_elem(&hist, &key);
        if (count) __sync_fetch_and_add(count, 1);
    }
    return 0;
}

2.2 Tracing（追踪）

通过 kprobe（内核函数入口）和 uretprobe（用户态函数返回），可以构建完整请求链路。Pixie 和 Parca 就是基于 eBPF 的自动追踪工具。

2.3 Logging（日志）

eBPF 可以捕获系统调用参数（如 execve 的命令行参数、openat 的路径），实现进程审计和安全监控。Tetragon（Cilium 安全观测组件）就是利用这一能力。

三、实战案例：HTTP 请求延迟分析

以下是使用 bpftrace（eBPF 高级脚本语言）快速分析 HTTP 请求延迟分布：

#!/usr/bin/bpftrace
// 追踪 nginx worker 的 writev 系统调用（发送响应）
kprobe:do_writev /comm == "nginx"/ {
    @start[tid] = nsecs;
}

kretprobe:do_writev /@start[tid]/ {
    $duration_us = (nsecs - @start[tid]) / 1000;
    @latency_us = hist($duration_us);
    delete(@start[tid]);
}

END {
    printf("\nHTTP Response Latency Distribution:\n");
    print(@latency_us);
}

运行这个单行脚本，即可得到生产环境中 nginx 响应延迟的直方图分布，无需修改 nginx 代码或配置。

四、网络追踪：连接级可观测性

eBPF 的 sk_lookup hook 和 sockmap 可以在 socket 层观测网络行为。以下是构建连接级延迟监控的关键技术：

• Hook tcp_sendmsg / tcp_recvmsg 追踪每个 socket 的数据传输
• 通过 BPF_MAP_TYPE_SOCKHASH 实现 socket 重定向（Cilium 服务网格的基础）
• 使用 XDP（eXpress Data Path）在网卡驱动层处理数据包，实现微秒级转发