基于 io_uring 的高性能网络代理架构实战

引言：为什么传统代理架构遇到瓶颈？

在云原生时代，网络代理（Proxy）是基础设施的核心组件——从反向代理、API 网关到 Service Mesh 的 Sidecar，几乎所有流量都要经过代理服务。然而，传统的基于 epoll 线程池的架构在面对 10Gbps 流量和百万级并发连接时，遇到了越来越多的性能瓶颈。

以一个典型的 Nginx 反向代理场景为例，传统的 I/O 模型存在以下问题：

• 系统调用开销：每次 `read`/`write` 都是一次系统调用，在高并发下 syscall 开销显著
• 数据拷贝：用户态与内核态之间的数据拷贝消耗 CPU 和内存带宽
• 线程调度成本：多线程模型下的上下文切换和锁竞争限制了扩展性

Linux 5.1 引入的 io_uring 正是为了解决这些问题而设计的。它通过共享内存环形队列实现了真正的异步 I/O，将系统调用批量提交和完成事件批量收割，大幅降低了内核态切换开销。

本文将深入探讨如何基于 io_uring 从零构建一个高性能 TCP 反向代理，涵盖架构设计、核心代码实现、性能调优和实战经验。

一、io_uring 核心原理回顾

1.1 环形队列机制

io_uring 的核心数据结构是两个无锁环形队列：

• 提交队列（SQ, Submission Queue）：用户态向 SQ 写入 SQE（Submission Queue Entry），内核消费并执行
• 完成队列（CQ, Completion Queue）：内核将执行结果写入 CQE（Completion Queue Entry），用户态收割

这两个队列通过 mmap 在用户态和内核之间共享，避免了传统 ioctl 或 syscall 的参数拷贝开销。

 ┌─────────────────────────────────────────────────────────┐ │                      用户态进程                           │ │                                                         │ │   ┌─────────────┐    Shared Memory    ┌───────────────┐  │ │   │  SQ Ring    │ ◀────────────────── │  SQEs Array   │  │ │   │(提交环形队列)│                     │  (提交请求数组) │  │ │   └─────────────┘                     └───────────────┘  │ │         │                                  │            │ │         │  io_uring_submit()               │            │ │         ▼                                  │            │ │   ┌─────────────────────────────────────┐  │            │ │   │          Linux Kernel               │  │            │ │   │    (异步执行 I/O 操作)              ──┘            │ │   └─────────────────────────────────────┘              │ │         │                                              │ │         │  io_uring_wait_cqe()                         │ │         ▼                                              │ │   ┌─────────────┐                     ┌───────────────┐  │ │   │  CQ Ring    │ ──────────────────▶ │  CQEs Array   │  │ │   │(完成环形队列)│                     │  (完成事件数组) │  │ │   └─────────────┘                     └───────────────┘  │ └─────────────────────────────────────────────────────────┘ 

1.2 关键优势

1. 零系统调用提交：批量提交 SQE 时只需一次 io_uring_enter syscall（或完全不用，如果内核启用了 SQPOLL 模式）

2. 零拷贝：支持 registered buffers，避免内核态和用户态之间的数据拷贝

3. 真正的异步：所有 I/O 操作天然异步，不再依赖非阻塞 socket 的轮询

4. 操作链接：支持 SQE 之间的链接（link），实现有依赖关系的操作序列

二、架构设计：单线程事件循环 多 Worker 模型

2.1 整体架构

我们的代理采用经典的「主从 Reactor」模式：

                     ┌──────────────────────────┐                     │      Main Reactor        │                     │   (Accept   Dispatch)    │                     │        io_uring           │                     └────────────┬─────────────┘                                  │ 连接分发 (Round-Rubbin)                 ┌────────────────┼────────────────┐                 │                │                │         ┌───────▼──────┐ ┌──────▼───────┐ ┌──────▼───────┐         │  Worker 0    │ │  Worker 1    │ │  Worker 2    │         │  io_uring    │ │  io_uring    │ │  io_uring    │         │  I/O 处理    │ │  I/O 处理    │ │  I/O 处理    │         └───────┬──────┘ └──────┬───────┘ └──────┬───────┘                 │                │                │                 ▼                ▼                ▼             upstream         upstream         upstream 

核心设计决策：

• 连接接收：主线程通过 `accept` 接收新连接，以 Round-Robin 分发给 Worker 线程
• 连接处理：每个 Worker 拥有独立的 `io_uring` 实例，负责连接上的所有 I/O 操作
• 上下游通信：客户端连接和上游连接在同一 Worker 内完成配对，避免跨线程同步

2.2 连接状态机

每个代理连接由两个 socket 组成：客户端 socket（client_fd）和上游 socket（upstream_fd）。状态机如下：

                     ┌─────────────┐                     │  ACCEPTED   │                     └──────┬──────┘                            │ 收到客户端请求                            ▼                     ┌─────────────┐                     │  CONNECTING │ (upstream)                     └──────┬──────┘                            │ 上游连接建立                            ▼                     ┌─────────────┐                     │  RELAYING   │ ◄─── 双向数据中继                     └──────┬──────┘                            │ 任一侧关闭                            ▼                     ┌─────────────┐                     │  CLOSING    │                     └──────┬──────┘                            │ 双向关闭完成                            ▼                     ┌─────────────┐                     │   CLOSED    │                     └─────────────┘ 

三、核心实现

3.1 io_uring 初始化

 #include