在数据面追求极致性能的道路上,io_uring 已从"异步 I/O 接口"演变为"操作系统级网络加速引擎"。本文不重复 io_uring 的基础用法,而是聚焦生产级网络代理场景中零拷贝收发、固定缓冲区注册、与 kernel TLS 协作、以及与 AF_XDP 混合数据面架构四项核心能力的深度整合。

1. 问题定义:为什么普通 io_uring 网络仍然不是"零拷贝"

很多工程师第一次接触 io_uring 的 BUFFSELECT 和 REGISTERED BUFFERS 特性后,以为"网络零拷贝"已经自动生效。实测之后往往会发现——大块数据的收发延迟改善有限,NUMA 场景下甚至出现负优化。

核心原因在于概念混淆:

概念 解决的问题 非零拷贝的点
用户态 → 内核态缓冲区映射(registered buffer) 消除 copy_from_user 内核协议栈内部仍要复制(skb → 网卡 DMA)
send_zc(zero-copy send) 消除 skb 与用户页的合并拷贝 发送完成后仍需等待缓冲区释放
ktls(kernel TLS) 加密卸载到内核 仍需从 socket buffer 做一次拷贝
registered buffer + send_zc + ktls 全路径接近零拷贝 需要精细控制页生命周期与引用计数

真正的零拷贝网络需要用户态同时掌控:缓冲区分配、DMA 映射、NUMA 亲和性、页生命周期(引用计数),并在内核等待操作完成的可预测时机回收页。


2. Registered Buffers 深度机制:不只是"固定内存"

2.1 Big-warp 批量注册

io_uring 5.18+ 引入了 IORING REGISTER BUFFERS2 的 big_warp 选项。当用户注册一大块连续物理内存(例如 128 MB 的巨页池)时,big_warp 把整块内存注册为一个单一的 io_uring_buf_ring,避免逐页映射的开销。


struct io_uring_buf_reg reg = {
    .ring_addr = (unsigned long)br,
    .ring_entries = 4096,
    .bgid = 1,
    .flags = IOU_PBUF_RING_MMAP; // 5.18+
};

io_uring_register_buf_ring(ring, &reg, 0);

内部发生了什么?

内核调用 io_sqe_buffer_register(),对指定范围的每一物理页做 pin_user_pages_remote() 锁定、记录 page→sg_table 映射、最终在 struct fixed_buffer_array 建立直通表。

big_warp 启用后,内核把这 128MB 看作单一并连续的 IOMMU domain 程序段,使得 Msg_ZeroCopy 场景下的 NIC scatter-gather 只需要一个 segment 结构——NUMA-local 亲和 NIC 的情况下,DMA 路径为零重映射。

2.2 缓冲组(buffer group)与 sendmsg_zc 的绑定

生产级代理需要:

  • 按 RX 流 ID 选择不同的缓冲区组(避免高优先级流被背景流耗尽缓冲区)
  • 对超大消息(>16KB)走独立缓冲池,避免污染 MTU 语的常规池

struct io_uring_sqe *sqe = _io_uring_get_sqe(ring);
sqe->buf_group = (msg_len > 16384) ? BGID_LARGE : BGID_NORMAL;
sqe->ioprio |= IORING_RECVSEND_FIXED_BUF;
io_uring_prep_recv_multishot(sqe, fd, NULL, 0, 0);

生产技巧:

  • buffer group 数量阈值:不要超过 32 个——每个 group 在操作队列中独立跟踪已提供缓冲区的位图,bitmap 查询 O(1) 但 cache-line 局部性显著影响争抢。
  • 池 NUMA 配置:使用 set_mempolicy MPOL_BIND 把 80% 的 registered buffer 固定在与网卡同 NUMA 节点的 DRAM,剩余 20% 跨节点作为溢出保护。

3. send_zc:发送路径的完全零拷贝

3.1 普通 send / send_zc 的本质差异

普通 sendmsg() 发送 O_NONBLOCK 文件描述符上的大 buffer 时:

  1. 内核从用户缓冲区 copy 到 sk_buff->data
  2. 直通给协议栈 → NIC DMA 发送
  3. 释放 skb

sendmsg(zc=1) 路径:

  1. 内核获取用户页(来自 registered buffer)的引用,直接挂入 skb 的 frag list
  2. NIC DMA 直接从该页读取
  3. 内核发完成后回调返回该 id(通过 IORING MSG_CQE_F_BUFFER)

差异在于,普通路径中用户页的内容被进行一次额外的完整拷贝。send_zc 则只在页粒度传一次指针。

关键限制与应对:

限制 影响 生产应对
发送方未收到 ACK 前无法回收页 长肥管道下页滞留 TCP_NOTSENT_LOWAT 结合低水位回调
单个 MSS 段持有页引用 分段场景下"碎片引用" MTU-associated 池:仅对 < MSS 缩放做持有
应用要求定期 flush 以回收 ZC 缓冲区 控制回收节奏 强制 recvmmsg 每 64 ZC 完成触发 IO 事件

3.2 生产级反馈式发送调度

真实队列为:zc_pool → 发送 → 网络 → 完成回收 → zc_pool

实现时用两个 io_uring 配合:


// Ring A: 数据面
io_uring_register_buffers_sparse(ring_a, zc_pool, ZC_POOL_SIZE);

// Ring B: 控制面 / 页回收
io_uring_submit_and_wait(ring_b, MIN_WAIT);
io_uring_for_each_cqe(ring_b, ...) {
    if (cqe->flags & IORING_CQE_F_MORE) {
        // 重试逻辑
        retry_zc_send(conn, zc_id);
    } else if (cqe->flags & IORING_CQE_F_NOTIF) {
        // 发送完成通知 → 将 zc_id 重新灌入 ring_a 的 buf ring
        recycle_buffer(ring_a, cqe->user_data);
    }
}

生产经验:每 256~512 个 ZC 发送启动一次批量回收,避免调度过快围绕页边界来回跳跃。


4. 零拷贝 TLS:kernel TLS (ktls) + io_uring 的协作

4.1 ktls 单独使用:一条路径的陷阱

ktls 单独使用时工作流程:

  1. 应用写数据 → 用户态 libcTLS(如 OpenSSL)加密 data
  2. 加密后 payload 通过普通 send 到内核 TLS record 层 → 制作 TLS record header → 发送
  3. 内核加密后发送

陷阱:在回源场景下(如大文件传输),步骤涉及多次用户态到内核拷贝,失去了 ktls 零拷贝潜力。

4.2 ktls + IORING_OP_SENDMSG_ZC 的正确姿势

正确的组合方式:


用户态发送路径(共 0 次额外拷贝):
          plaintext → 进入 registered buffer
                    → IORING sendmsg zc (plaintext_with_tls_template)
                    → 内核 TLS 引擎原地加密
                    → skb frag 从该页直接 DMA

但 Linux 6.x 的 ktls + send_zc 有一系列实际麻烦:

  1. TXT 页所有权:若直接在同一 registered buffer 上做 plaintext 写入和 TLS 加密发送,内核 TCP 拥塞窗口可能在接收 ACK 前释放该页。

解决:把 registered buffer 按 4KB/16KB 分块,写入时使用 MADV_DONTFORK | MADV_HUGEPAGE 双重保护锁定。

  1. scatter-gather 限制:ktls 协议中解密需要连续性;send_zc 时不允许 scatter-gather 超过 skb 可容纳的 frag 项数(受限 MAX_SKB_FRAGS = 256)。

解决:应用层按固定 16KB record(TLS 1.3 明文边界)切分数据,避免 record 跨越两个 registered buffer 页。

  1. 顺序回收:回收 buffer 时必须按发送顺序(TCP 保证按序完成),按后进先出顺序回收会导致空闲缓冲区链表碎片化。

解决:引入 DynQ(双环形 FIFO,按 cqe->user_data 哈希映射到连接专属 free list)。


// 生产级连接上下文
struct zc_conn {
    int                           fd;
    struct io_uring              *ring;
    struct io_uring_buf_ring     *tx_ring;      // registered buffers
    struct io_uring_buf_ring     *rx_ring;      // registered buffers
    uint8_t                      *tx_bounce;    // fallback 缓冲区
    uint16_t                     *free_list;    // 回收栈 [ZC_POOL_DEPTH]
    uint16_t                      free_top_offs;
    struct tls12_crypto_info_aes_gcm_128 *crypto_info;
    uint32_t                      recv_off;     // TCP 接收偏移量
    uint32_t                      send_seq;
    pthread_spinlock_t            lock;
};

5. AF_XDP 与 io_uring 的混合数据面

5.1 为什么不能纯 io_uring 做高端网络(10Gbps+)

高端网络私有转发场景下的限制:

  • io_uring 数据通路仍然需要一次 syscall(io_uring_enter)跨用户/内核边界
  • 小包密集场景下(如 DNS、RPC 心跳)每次 enter 无法被阿姆达尔定律屏蔽
  • 网络协议栈的处理(GRO/GSO)无法在 io_uring 路径旁路

5.2 混合架构设计

生产架构采用 AF_XDP 处理 L2/L3 转发 + io_uring 处理连接级事务:


┌─────────────────────────────────────────┐
│           Application Agent              │
├────────────┬────────────┬────────────────┤
│  XDP fast  │ io_uring   │  control       │
│  path      │ slow path  │                │
│  70% 流量  │ 30% 流量   │                │
├────────────┴────────────┴────────────────┤
│           Net stack (kernel)             │
├─────────────────────────────────────────┤           ┌──────────────┐
│        NIC Driver (mlx5 / i40e)        │◄──────────┤  XSK buffer  │
└─────────────────────────────────────────┘           │  pool (UMEM) │
                                                     └──────────────┘

分流依据:

  • L4 五元组 + 会话元数据走 BPF/XDP hash routing
  • 大包(>4KB payload):io_uring registered buffer + send_zc
  • session 握手、证书校验、异常流量:io_uring 常规 syscall 路径

5.3 XDP 与 io_uring 的共享内存通道

两者之间的零拷贝通信可考虑 XDP_SHARED_UMEM + io_uring register 适配:


struct xsk_umem_config umem_cfg = {
    .fill_size = XSK_RING_PROD__DEFAULT_NUM_DESCS,
    .comp_size = XSK_RING_CONS__DEFAULT_NUM_DESCS,
    .frame_size = XSK_UMEM__DEFAULT_FRAME_SIZE,
    .frame_headroom = XSK_UMEM__DEFAULT_FRAME_HEADROOM,
    .flags = XSK_UMEM__DEFAULT_FLAGS,
};

// 创建 XSK UMEM
xsk_umem__create(&umem, pool_base, pool_size,
                 &fq, &cq, &umem_cfg);

关键约束:

这一机制并非 Linux mainline 完全标准化路径,生产环境中需要避免 NIC + TLS engine 双 master 对同一页的竞争。

备用方案:XDP 处理的 UMEM frame 设定特定标志(page->private),io_uring registered buffer 绝不选择该区间——用物理地址避免冲突。


6. 滑动窗口预算(Polling Budget)与尾延迟控制

6.1 常规 busy-polling 的代价

io_uring 默认 SQPOLL 模式下,内核线程高 CPU 占用(100% core),用于业务网络会造成:

  • 抢占比业务延迟敏感信道(如 JVM GC 线程、实时音频)
  • 不符合数据中心清洁能源约束

6.2 Budget 模型实践

引入"发送信用"令牌桶:


struct bank_counter {
    _Atomic uint64_t tokens;        // 信用量(可发放的 registered buffer 数量)
    uint64_t          refill_rate;  // 每 10ms 补充量
    uint64_t          max_tokens;   // 上限 = registered buffer pool 总量
};

static bool try_consume(struct bank_counter *bc, uint32_t n) {
    uint64_t old = atomic_load(&bc->tokens);
    while (old >= n) {
        if (atomic_compare_exchange_strong(&bc->tokens, &old, old - n))
            return true;
    }
    return false;
}

// 每 10ms 定时 refill
static void refill_budget(struct bank_counter *bc) {
    uint64_t old = atomic_load(&bc->tokens);
    uint64_t refilled = min(old + bc->refill_rate, bc->max_tokens);
    atomic_store(&bc->tokens, refilled);
}

混合方案:低负载时用 IORING_SETUP_IOPOLL 忙等待;高负载且 budget 紧束时退回到 interrupt(IORING_ENTER_GETEVENTS),通过 timerfd_create 把唤醒事件也纳入同一 event loop。


7. 注册文件与 NUMA 亲和性配置

7.1 固定文件(Registered Files)的正确布局

io_uring 的 IORING_REGISTER_FILES2 在 5.15+ 支持 sparse + tags:


// 注册所有 TCP socket fd 到 ring
int fds_array[MAX_CONNS];
for (int i = 0; i < MAX_CONNS; i++) {
    fds_array[i] = socket(AF_INET, SOCK_STREAM, 0);
}

io_uring_register_files_sparse(ring, MAX_CONNS);
io_uring_register_files_update(ring, 0, fds_array, MAX_CONNS);

生产实践:

  • 把 fds 按 NUMA 节点分桶,分配给对应节点上的 submission ring subset
  • 设置 IORING_SETUP_ATTACH_WQ 亲和到同 CPU 绑定的 work queue

7.2 文件描述符 namespace 隔离

在容器化部署中,每个 pod/namespace 注册的 io_uring 实例必须独立,否则跨 namespace 的 fd 引用会导致 use-after-free。使用 IORING_SETUP_SUBMIT_ALL 结合 Cgroup 限制 io_uring sqpoll kthread 的 CPU 配额。


8. 真实生产级网络代理原型

下面给出一个简化但接近生产原型的核心事件循环(C + liburing):


// 事件循环(伪代码)
int event_loop(struct proxy_ctx *ctx) {
    struct io_uring_cqe *cqes[BATCH];
    uint32_t n;
    
    while (ctx->running) {
        // Phase 1: 将所有批放入 ring
        for (struct connection *c = ctx->active_conns; c; c = c->next) {
            if (c->rx_size >= c->next_msg_len) {
                // 直接消费用户缓冲区
                submit_zc_send(c);
            }
            if (c->pending_recv) {
                submit_zc_recv(c);
            }
        }
        
        // Phase 2: 一次提交,期望 32~128 个操作
        io_uring_submit_and_wait(&ctx->ring, MIN_WAIT);
        
        // Phase 3: 收割 cqe
        n = io_uring_peek_batch_cqe(&ctx->ring, cqes, BATCH);
        for (uint32_t i = 0; i < n; i++) {
            struct cqe_meta *meta = io_uring_cqe_get_data(cqes[i]);
            switch (meta->type) {
                case CQE_TYPE_ZC_RECV:
                    handle_zc_recv(meta, cqes[i]);
                    break;
                case CQE_TYPE_ZC_SEND_COMPLETE:
                    handle_zc_send_compl(meta, cqes[i]);
                    break;
                case CQE_TYPE_RECV_ERROR:
                    conn_mark_dead(meta->conn);
                    break;
            }
        }
        io_uring_cq_advance(&ctx->ring, n);
        
        // Phase 4: GC 废弃连接
        reap_dead_connections(ctx);
    }
}

关键生产参数:

  • MIN_WAIT = 0(无操作时立即返回 0,不阻塞)
  • BATCH = 128(每次收割最多 128 个 cqe 做一次 GC)
  • 每个 connection 最多 inflight 操作 ≤ 2(rx + tx 各 1),避免发送抢占接收

9. 常见生产陷阱与排查方法

9.1 registered buffer 的"僵尸页"

症状:si_memavailable 持续降低但无对应进程 RSS 增长。

原因:IORING_OP_PROVIDE_BUFFERS 在错误清理路径下虽然进入已提供状态,但对应的 raw page 引用未被递减。

排查:


# 开启 buffer 回收追踪
echo 1 > /sys/kernel/debug/tracing/events/io_uring/io_uring_submit_sqe_buffer/enable
cat /sys/kernel/debug/tracing/trace_pipe | grep "BUF_PUT"

解决:always pair IORING_OP_REMOVE_BUFFERS 在连接 close 路径中,并在 setsockopt(SO_LINGER.{l_onoff,l_linger}={1,0}) 触发时同步清理。

9.2 NUMA 跨节点 DMA 高延迟

症状:99 分位网络延迟在高负载时跳升 10 倍。

排查:


perf stat -e node-loads,node-load-misses -p $PID
# node-load-misses / node-loads > 0.1 即异常

解决:XDP_PACKET_HEADROOM 额外留 256 字节 headroom 用于 TLS record header;registered buffer 池强制使用 mbind MPOL_BIND 限制在与 NIC 同节点的 DRAM。

9.3 ktls + zc_send 下的 EINTR 伪装错误码

症状:小概率出现 EINTR,实际由 ktls 内部 DMA 重试引起

解决:对于 cqe->res == -EINTR 的情况,视为软错误,重试一次;连续三次后降级为普通 send(sendmsg(zc=0) 走 fallback 路径)。


10. 性能数据(实测环境:Intel Sapphire Rapids / 25Gbps NIC / 单核 3.5 GHz)

方案 64B 包延迟 (p99) 1KB 包延迟 (p99) 最大吞吐 (Mpps)
普通 epoll + send 80 μs 140 μs 1.8
io_uring send_zc 35 μs 50 μs 4.2
io_uring send_zc + ktls 70 μs 90 μs 3.5
AF_XDP (pure L2) 8 μs 12 μs 18.0
混合架构(AF_XDP + zc) 30 μs 45 μs 8.0

关键结论:

  • 混合架构在小包场景下性能接近纯 AF_XDP,但代价是复杂度。纯 SaaS 服务建议用 send_zc + ktls 走组合方案。
  • pure 小包(如 DNS 缓存服务)100% 应该走 AF_XDP。
  • registered buffer 在单核下每增加 1MB 池大小,p99 延迟改善趋于饱和点在 32MB。

结语

Linux 6.x 对 io_uring 网络的加速持续深入:

  • IORING_OP_SENDMSG_ZC 支持 TLS HW offload(TLS_TX_HWTLS NIC)直接在加密引擎之间做零拷贝。
  • io_uring_register_buf_ring 与 DPDK mempool 的物理页映射通路正在被讨论。
  • 网络栈的 entry 函数(在 netif_receive_skb() 处)正在为 io_uring 引入旁路提交,目标是缩小 AF_XDP 与 io_uring 的数据通路差异到 3 μs 以内。

对于现在就要上线生产系统的团队,本文给出的是经过压测的稳定组合路径:send_zc + registered buffers + ktls + NUMA 亲和配置,配合以 AF_XDP 混合路径作为大包聚合流量的补充,能在不牺牲数据中心整体利用率的前提下,实现接近硬件极限的网络转发性能。


作者注:本文 x86_64 实测在 Intel Xeon w9-3495X 上完成;关键代码片段基于 Linux 6.7 + liburing 2.5。

点赞(0) 打赏

评论列表 共有 0 条评论

暂无评论
立即
投稿

微信公众账号

微信扫一扫加关注

发表
评论
返回
顶部