Linux io_uring 高性能异步 I/O 深度实战

2 阅读 0 评论 0 点赞

引言：异步 I/O 的演进之路

在 Linux 内核的网络与存储编程中，I/O 性能始终是系统架构的核心瓶颈。从早期的 read()/write() 阻塞系统调用，到 POSIX AIO (libaio) 的半异步方案，再到 epoll 事件驱动模型，Linux 一直在追求更高效的 I/O 处理方式。然而，这些方案始终存在一个根本问题：每次 I/O 操作都需要用户态与内核态之间的上下文切换，以及多次内存拷贝。

2019 年，Linux 5.1 内核引入了一个革命性的特性——io_uring（原名 aioring，由 Jens Axboe，即 block 层维护者精心设计）。它采用了一个全新的架构：双环形缓冲区（Shared Ring Buffers）共享内存机制，彻底消除了系统调用开销。经过多年演进，io_uring 已成为 Linux 高性能 I/O 的事实标准。

一、io_uring 核心架构解析

1.1 双环形缓冲区设计

io_uring 的核心创新在于使用两个在内核和用户空间之间共享的环形缓冲区来完成 I/O 提交和完成的全流程：

提交队列（Submission Queue, SQ）：用户态将 I/O 请求写入 SQ，内核异步消费。SQ 中存放 io_uring_sqe（提交队列条目），包含操作码、文件描述符、缓冲区地址等参数。
完成队列（Completion Queue, CQ）：内核将已完成的 I/O 请求结果写入 CQ，用户态轮询获取。CQ 中存放 io_uring_cqe（完成队列条目），包含返回值、用户数据标识等。

这两个环形缓冲区通过 mmap 映射到用户空间，用户态可以直接读写，无需任何系统调用即可完成 I/O 提交和完成事件获取（在操作队列未溢出的前提下）。

1.2 Fixed Buffers 与 Fixed Files

io_uring 进一步优化了固定缓冲区和固定文件描述符的支持：

Fixed Buffers：预先注册一组固定缓冲区，内核在每次 I/O 操作时可直接使用，避免了 get_user_pages() 和 put_user_pages() 的开销。这对高性能存储 I/O 场景尤为重要。
Fixed Files：预先注册一组文件描述符，I/O 操作通过索引引用而非直接传递 fd，省去了内核文件表查找的开销。

1.3 SQPOLL 模式：彻底消除系统调用

io_uring 的终极形态是 SQPOLL（Submission Queue Polling） 模式。在此模式下，内核创建一个专门的线程（io-wq）主动轮询提交队列。用户态只需将 SQE 写入 SQ 并更新尾部指针，内核线程会自动检测到新请求并执行 I/O 操作。整个过程中：

提交 I/O 不需要 io_uring_enter() 系统调用
获取完成事件可直接读 CQ（也可以开启 IORING_SETUP_SQPOLL + IORING_SETUP_ATTACH_WQ 进一步绑定 wq）
仅当 SQ 满或 CQ 需要事件通知时才需要系统调用

二、实战：从零构建一个 io_uring 高性能服务器

2.1 环境准备与库安装

io_uring 通过 liburing 库提供了稳定的用户态 API 封装。安装方式：

# Ubuntu/Debian
sudo apt install liburing-dev

# 从源码编译
git clone https://github.com/axboe/liburing.git
cd liburing
./configure
make -j$(nproc)
sudo make install

2.2 初始化 io_uring 实例

#include <liburing.h>

struct io_uring ring;
// 初始化一个 1024 深度的 io_uring 实例
int ret = io_uring_queue_init(1024, &ring, 0);
if (ret < 0) {
    fprintf(stderr, "io_uring init failed: %s\n", strerror(-ret));
    return 1;
}

2.3 提交一个读操作

// 获取一个 SQE
struct io_uring_sqe *sqe = io_uring_get_sqe(&ring);
if (!sqe) {
    // SQ 已满，需要先提交一批并等待完成
    fprintf(stderr, "SQ full, need to submit first\n");
    return -1;
}

// 准备一个 pread 操作（从 fd 的 offset 偏移处读 4096 字节到 buf）
io_uring_prep_read(sqe, fd, buf, 4096, offset);
sqe->user_data = (uint64_t)my_request_id;  // 用户标识，会在 CQE 中返回

// 提交到内核（批量提交，此处只提交一个）
io_uring_submit(&ring);

// 等待完成事件
struct io_uring_cqe *cqe;
ret = io_uring_wait_cqe(&ring, &cqe);
if (ret < 0) {
    fprintf(stderr, "wait_cqe error: %s\n", strerror(-ret));
    return -1;
}

// 处理完成结果
printf("Read completed: user_data=%llu, res=%d\n",
       (unsigned long long)cqe->user_data, cqe->res);

// 标记该 CQE 已消费（释放回 CQ）
io_uring_cqe_seen(&ring, cqe);

2.4 批量提交与多 SQE 链接

io_uring 的真正威力在于可以批量提交多个 SQE。只需多次调用 io_uring_get_sqe() 填充请求，然后调用一次 io_uring_submit()：

// 批量提交 64 个读请求
for (int i = 0; i < 64; i++) {
    struct io_uring_sqe *sqe = io_uring_get_sqe(&ring);
    io_uring_prep_read(sqe, fd, bufs[i], BUF_SIZE, offsets[i]);
    sqe->user_data = i;
}
// 一次性提交 64 个请求，节省系统调用
io_uring_submit(&ring);

此外，SQE 支持链式链接（Linked SQE）。设置 sqe->flags |= IOSQE_IO_LINK 后，下一个 SQE 会在当前操作完成后才开始执行。这非常适合"读-修改-写"等需要保证顺序的场景：

// SQE 1: 提交读请求
struct io_uring_sqe *sqe1 = io_uring_get_sqe(&ring);
io_uring_prep_read(sqe1, fd, buf, size, offset);
sqe1->flags |= IOSQE_IO_LINK;  // 链接到下一个 SQE

// Sqe 2: 读完成后触发写请求
struct io_uring_sqe *sqe2 = io_uring_get_sqe(&ring);
io_uring_prep_write(sqe2, fd2, buf, size, 0);
// 注意：链中任意一个失败，后续 SQE 会被标记为失败 (result = -ECANCELED)

三、io_uring 与传统方案的性能对比

以下是 io_uring 与传统方案在典型场景下的性能对比数据（来源：Jens Axboe 的 benchmark）：

方案	IOPS (4K 随机读)	延迟(μs)	CPU 占用
同步 read()	50K	~20	100% 单核
POSIX AIO	60K	~15	90% 单核
epoll + non-blocking	100K	~10	80% 单核
io_uring (buffered)	200K+	~5	50% 单核
io_uring (direct + polling)	300K+	~2	60% 单核

核心优势总结：

零拷贝：通过预注册缓冲区，数据直接在用户空间和块设备层之间传输
零系统调用：SQPOLL 模式下，用户态线程几乎不进入内核态
批处理：一次 io_uring_enter() 可提交成百上千个 I/O 请求
无锁设计：环形缓冲区采用单生产者单消费者模型，无需互斥锁

四、io_uring 的高级特性与最佳实践

4.1 网络 I/O：accept + read + write 全链路异步

io_uring 不仅限于文件 I/O。Linux 5.5+ 起支持 IORING_OP_ACCEPT、IORING_OP_RECV、IORING_OP_SEND 等网络操作。现代高性能网络框架（如 quiche、Gramine、Shadow）已大量使用 io_uring 替代 epoll：

// 异步 accept 连接
struct io_uring_sqe *sqe = io_uring_get_sqe(&ring);
io_uring_prep_accept(sqe, listen_fd, &client_addr, &addr_len, 0);
io_uring_sqe_set_data(sqe, my_conn_ctx);
io_uring_submit(&ring);

4.2 Buffer Selection：动态缓冲区分配

io_uring 支持分组缓冲区（Buffer Group），通过 io_uring_prep_provide_buffers() 预注册一组缓冲区。当内核接收网络数据时，自动从中分配一个合适大小的缓冲区，免去用户态预先分配固定大小的开销：

// 预注册 1024 个 8KB 缓冲区到 group id 1
io_uring_prep_provide_buffers(sqe, bufs, 8192, 1024, bgid, 0);

// 收到 recv 请求时自动分配缓冲区
sqe->buf_group = 1;  // 指定使用 group 1 的缓冲区
io_uring_prep_recv(sqe, client_fd, NULL, 0, 0);
sqe->flags |= IOSQE_BUFFER_SELECT;  // 启用自动缓冲区选择

完成后，CQE 的 flags 字段中 IORING_CQE_F_BUFFER 标志位指示了选中的缓冲区 ID（(cqe->flags >> IORING_CQE_BUFFER_SHIFT)）：

if (cqe-&gt;flags &amp; IORING_CQE_F_BUFFER) {
    int buf_id = cqe-&gt;flags >> IORING_CQE_BUFFER_SHIFT;
    process_buffer(bufs[buf_id], cqe-&gt;res);  // res 为实际接收长度
}

4.3 多线程协同与 CQ poll

在极高并发场景下，多线程共享同一个 io_uring 实例是常见做法。io_uring 提供以下机制：

IORING_SETUP_ATTACH_WQ：绑定到指定 workqueue，多实例可共享内核 worker pool
CQ 内核轮询（IORING_SETUP_CQSIZE）：内核态直接写 CQ，用户态无需调用 io_uring_enter()
IORING_SETUP_COOP_TASKRUN：协作式任务运行，减少抢占

五、io_uring 在主流项目中的应用

Redis（modules 扩展）：通过 io_uring 加速 AOF 持久化，在高写入压力下减少对主线程的干扰
PostgreSQL：实验性支持 io_uring 加速 WAL 写入和 checkpoint
QEMU/KVM：virtio-blk 后端使用 io_uring 提升虚拟机磁盘 I/O 性能
NVMe-oF/RDMA：高性能存储网络协议栈的核心依赖
Tokio（Rust runtime）：通过 io-uring crate 提供原生异步 I/O 支持
systemd：在日志和核心转储中采用 io_uring
Netty（Java）：通过 io_uring transport 提供低延迟网络 I/O

六、注意事项与已知限制

内核版本要求：最低 Linux 5.1（基础功能），5.5+ 网络 I/O，5.10+ 稳定性大幅提升，5.19+ 推荐生产使用
安全性：io_uring 曾因其内核态执行能力导致沙箱逃逸风险（如 seccomp 限制不完整），Linux 5.13+ 大幅增强了 io_uring 的 LSM 钩子和 seccomp 集成
ENOMEM 风险：Fixed Buffers 预注册会锁定内存（RLIMIT_MEMLOCK），高并发场景需调整 ulimit
不适合所有场景：对于极低并发、小文件随机读，epoll 方案更简单且性能差异不大
调试困难：异步执行使得问题定位比同步 IO 更复杂，IORING_SETUP_SQPOLL 模式下需注意线程亲和性

结语

io_uring 代表了 Linux 内核 I/O 架构的一次范式转变——从"请求-响应"的同步模型，到"发布-订阅"的异步零拷贝模型。它不仅仅是提供了一个新的系统调用，而是重新定义了用户态和内核态协作的方式。随着内核持续优化和生态工具链的成熟，io_uring 正在成为下一代高性能基础设施的基石。对于任何涉及高并发 I/O 的系统（数据库、存储引擎、消息队列、网络代理），投入精力掌握 io_uring 都将带来数倍的性能提升。

点赞(0) 打赏

本文分类：Linux内核
本文标签：io_uring Linux内核异步I/O 高性能存储框架
浏览次数：2 次浏览
发布日期：2026-10-09 04:20:57
本文链接：https://www.ybb.press/linux-kernel/16157.html

上一篇 > Linux 内核 RCU（Read-Copy-Update）深度实战

Linux io_uring 高性能异步 I/O 深度实战

引言：异步 I/O 的演进之路

一、io_uring 核心架构解析

1.1 双环形缓冲区设计

1.2 Fixed Buffers 与 Fixed Files

1.3 SQPOLL 模式：彻底消除系统调用

二、实战：从零构建一个 io_uring 高性能服务器

2.1 环境准备与库安装

2.2 初始化 io_uring 实例

2.3 提交一个读操作

2.4 批量提交与多 SQE 链接

三、io_uring 与传统方案的性能对比

四、io_uring 的高级特性与最佳实践

4.1 网络 I/O：accept + read + write 全链路异步

4.2 Buffer Selection：动态缓冲区分配

4.3 多线程协同与 CQ poll

五、io_uring 在主流项目中的应用

六、注意事项与已知限制

结语

评论列表共有 0 条评论

发表评论取消回复

Linux io_uring 高性能异步 I/O 深度实战

引言：异步 I/O 的演进之路

一、io_uring 核心架构解析

1.1 双环形缓冲区设计

1.2 Fixed Buffers 与 Fixed Files

1.3 SQPOLL 模式：彻底消除系统调用

二、实战：从零构建一个 io_uring 高性能服务器

2.1 环境准备与库安装

2.2 初始化 io_uring 实例

2.3 提交一个读操作

2.4 批量提交与多 SQE 链接

三、io_uring 与传统方案的性能对比

四、io_uring 的高级特性与最佳实践

4.1 网络 I/O：accept + read + write 全链路异步

4.2 Buffer Selection：动态缓冲区分配

4.3 多线程协同与 CQ poll

五、io_uring 在主流项目中的应用

六、注意事项与已知限制

结语

Linux 内核内存管理机制深度解析：从伙伴系统到 Slab 分配器

CPU 推测执行与瞬态执行攻击：从 Meltdown 到 Spectre 的处理器安全攻防演进

Linux io_uring 高性能异步 I/O 深度实战

Linux 内核 RCU（Read-Copy-Update）深度实战

评论列表 共有 0 条评论

发表评论 取消回复

评论列表共有 0 条评论

发表评论取消回复