从内核旁路到高性能数据包处理：eBPF XDP 实战指南

XDP 是唯一一个在内核网络栈中位于 协议栈之前 的处理点。相比之下，tc ingress 在 sk_buff 分配之后才执行，cgroup 钩子位置更高。这种"越早越好"的架构设计使得 XDP 获得了不可比拟的性能优势。

1.3 三种运行模式

XDP 支持三种运行模式，适应不同的硬件环境：

Native XDP（原生模式）：直接在网卡驱动中执行 eBPF 程序。这是性能最佳的模式，要求网卡驱动实现 ndo_xdp_xmit 等接口。主流 10G+ 网卡驱动（i40、ixgbe、mlx5、iavf 等）均已支持。

Offloaded XDP（卸载模式）：将 eBPF 程序编译后下载到网卡硬件中执行，完全绕过 CPU。Netronome 智能网卡支持此模式，可实现线速处理而零 CPU 开销。

Generic XDP（通用模式）：当网卡驱动不支持 XDP 时，内核在 sk_buff 分配后模拟 XDP 钩子。性能虽然不如原生模式，但仍优于传统 iptables/nftables，适用于无修改驱动的兼容性场景。

二、eBPF 程序：XDP 的灵魂

2.1 eBPF 虚拟机基础

eBPF（Extended Berkeley Packet Filter）源自经典的 BPF 包过滤技术，但已演化为一个通用的内核内 programmable 引擎。eBPF 程序的执行遵循严格的规则：

1. 安全性：每个 eBPF 程序在加载前必须通过内核验证器（verifier）的静态分析，确保不会死循环、不会访问越界内存、不会调用非白名单函数。

2. JIT 编译：通过验证后，eBPF 字节码被 JIT 编译为本地机器码，执行效率接近原生内核代码。

3. 事件驱动：eBPF 程序挂载到钩子点上，事件发生时自动触发执行，无需轮询。

2.2 XDP 程序的 C 语言编写

一个最简的 XDP 程序仅有几行代码，下面是一个丢弃所有 ICMP 包的示例：

#include <linux/bpf.h>
#include <linux/if_ether.h>
#include <linux/ip.h>
#include <linux/icmp.h>
#include <bpf/bpf_helpers.h>

SEC("xdp")
int xdp_drop_icmd(struct xdp_md *ctx) {
    void *data_end = (void *)(long)ctx->data_end;
    void *data = (void *)(long)ctx->data;
    
    struct ethhdr *eth = data;
    if ((void *)(eth + 1) > data_end)
        return XDP_PASS;
    
    if (eth->h_proto != __constant_htons(ETH_P_IP))
        return XDP_PASS;
    
    struct iphdr *ip = data + sizeof(struct ethhdr);
    if ((void *)(ip + 1) > data_end)
        return XDP_PASS;
    
    if (ip->protocol == IPPROTO_ICMP)
        return XDP_DROP;  // 丢弃 ICMP
    
    return XDP_PASS;  // 其他正常通过
}

char _license[] SEC("license") = "GPL";

理解这个程序的关键是 xdp_md 结构体，它包含了当前数据包的上下文信息：

struct xdp_md {
    __u32 data;        // 数据包起始地址
    __u32 data_end;    // 数据包结束地址
    __u32 data_meta;   // 元数据区域
    __u32 rxq_index;   // 接收队列索引
    __u32 egress_ifindex; // 出口接口索引（仅用 redirect）
};

注意所有内存访问都必须进行边界检查：XDP 程序不能直接假定数据包长度，必须用 data_end 验证，否则验证器会拒绝加载。

2.3 XDP 返回码

XDP 程序的返回值决定了数据包的命运：

• XDP_PASS：将数据包交给内核协议栈正常处理
• XDP_DROP：立即丢弃数据包，不分配 sk_buff
• XDP_TX：从接收网卡原路发送回去
• XDP_REDIRECT：重定向到另一个网卡或 CPU 的 cpumap

2.4 BPF Maps：程序间通信的桥梁

eBPF 程序本身是无状态的，但通过与 BPF Map 配合，可以实现复杂的有状态处理。常用的 Map 类型包括：

• BPF_MAP_TYPE_HASH：哈希表，O(1) 查找，适合存储连接状态
• BPF_MAP_TYPE_LPM_TRIE：前缀树，适合 IP 路由表这类最长前缀匹配
• BPF_MAP_TYPE_ARRAY：数组，适合策略配置和计数器
• BPF_MAP_TYPE_LRU_HASH：LRU 哈希表，自动淘汰冷数据
• BPF_MAP_TYPE_DEVMAP：设备映射表，用于 XDP_REDIRECT 到其他网卡
• BPF_MAP_TYPE_CPUMAP：CPU 映射表，用于将数据包分发到不同 CPU

三、XDP 实战部署

3.1 基础环境搭建

在开始之前，请确认内核版本 ≥ 4.15（推荐 ≥ 5.4 以获得完整功能）：

uname -r
# 5.15.0-56-generic

# 检查 XDP 支持
ip link show dev eth0 | grep xdp

# 检查 BPF 文件系统
ls /sys/fs/bpf/

发行版安装依赖：

# Ubuntu/Debian
sudo apt install -y clang llvm libelf-dev libpcap-dev linux-tools-$(uname -r) linux-headers-$(uname -r) bpftool

# CentOS/Rocky
sudo dnf install -y clang llvm elfutils-libelf-devel kernel-devel kernel-tools bpftool

3.2 使用 iproute2 加载 XDP 程序

最简单的方式是用 ip 命令直接加载编译好的 eBPF 对象文件：

# 编译 eBPF 程序
clang -O2 -g -target bpf -c xdp_prog.c -o xdp_prog.o

# 加载到网卡
ip link set eth0 xdp obj xdp_prog.o sec xdp

# 查看加载状态
ip link show eth0

# 卸载
ip link set eth0 xdp off

这种方式适合快速验证，但不适合生产环境——它没有一套用户态守护进程来管理 map、更新策略和监控指标。

3.3 使用 XDP Loader（libbpf 方式）

libbpf 是 eBPF 的标准用户态库，提供了完整的 skeleton 机制：

// xdp_loader.c - 用户态加载器
#include <bpf/libbpf.h>
#include <xdp_loader.skel.h>
#include <stdio.h>
#include <unistd.h>
#include <signal.h>

static volatile bool running = true;

void sig_handler(int sig) { running = false; }

int main(int argc, char **argv) {
    struct xdp_loader_bpf *skel;
    int err;
    
    signal(SIGINT, sig_handler);
    signal(SIGTERM, sig_handler);
    
    // 打开并加载 BPF skeleton
    skel = xdp_loader_bpf__open_and_load();
    if (!skel) {
        fprintf(stderr, "Failed to open BPF skeleton\n");
        return 1;
    }
    
    // 附加到网卡
    err = xdp_loader_bpf__attach(skel);
    if (err) {
        fprintf(stderr, "Failed to attach BPF: %d\n", err);
        goto cleanup;
    }
    
    printf("XDP program attached to eth0. Press Ctrl+C to stop.\n");
    
    while (running) {
        // 可以在这里读取 BPF map 来更新计数器
        sleep(1);
    }
    
cleanup:
    xdp_loader_bpf__destroy(skel);
    return 0;
}

使用 bpftool 生成 skeleton 文件：

bpftool gen skeleton xdp_loader.bpf.o > xdp_loader.skel.h

3.4 使用 Cilium XDP L4LB 作为生产级参考

Cilium 是 Kubernetes 生态中最成熟的 eBPF 网络插件，其 XDP 负载均衡器是一个值得研究的开源实现。它展示了 XDP 在生产环境中的正确用法：热更新、健康检查、会话亲和性和可观测集成。

关键设计要素：

• 使用 BPF_MAP_TYPE_LRU_HASH 存储后端服务健康状态
• 通过尾调用（tail call）拆分协议解析和负载均衡逻辑
• 用户态通过 BPF system call 定期读 map 监控指标
• 支持 XDP_REDIRECT 到目标节点网卡

ethtool -l eth0         # 查看队列支持
ethtool -x eth0         # RSS hash 配置
cat /proc/interrupts | grep eth0  # IRQ 分布

SEC("xdp")
int xdp_parser(struct xdp_md *ctx) {
    // 第一层：协议解析
    __u32 key = get_next_proto(ctx);
    bpf_tail_call(ctx, &proto_dispatch, key);
    return XDP_PASS;  // fallback
}

SEC("xdp")
int xdp_tc_handler(struct xdp_md *ctx) {
    // 第二层：流量控制
    // ...
}

# 列出所有已加载的 BPF 程序
bpftool prog list

# 查看程序 JIT 编译后的汇编
bpftool prog dump xlated id 100

# 查看 BPF map
bpftool map dump id 50

# 监控程序运行统计
bpftool prog show --json | jq '.[].run_time_ns'

# 列出网卡上的 XDP 程序
bpftool net list