1. 首页
  2. 文章资讯
  3. 编程技术

深入理解 Linux io_uring：高性能异步 I/O 从原理到实战

2 阅读 0 评论

引言：Linux I/O 性能的新纪元

在高并发网络服务、数据库系统和存储引擎中，I/O 性能始终是核心瓶颈。Linux 内核 5.1 引入的 io_uring 彻底改变了异步 I/O 的范式，将传统的 POSIX AIO 提升到一个全新的高度。本文将深入剖析 io_uring 的设计哲学、核心数据结构、实战应用以及性能优化技巧。

一、从 POSIX AIO 到 io_uring：演进的必然

Linux 传统的异步 I/O（POSIX AIO，即 libaio）存在诸多限制：仅支持 O_DIRECT 模式的文件 I/O，无法用于网络 I/O，且提交/完成系统调用开销较大。io_uring 的作者 Jens Axboe（也是 Linux Block IO 子系统的维护者）设计了全新的异步框架，解决了这些痛点：

  • 统一接口：支持文件 I/O、网络 I/O（sendmsg/recvmsg）、定时器、事件fd等
  • 零系统调用提交：通过共享内存环形缓冲区，用户态与内核态无需系统调用即可提交和收割 I/O 请求
  • 缓冲区注册：预注册缓冲区避免每次 I/O 的 get_user_pages 开销
  • 轮询模式：支持 IORING_SETUP_IOPOLL 和 IORING_SETUP_SQPOLL，实现真正的内核侧无中断 I/O

二、io_uring 核心数据结构

io_uring 的核心是三个共享内存环形缓冲区：

2.1 提交队列（SQ - Submission Queue）

用户态向 SQ 写入 提交队列条目（SQE - Submission Queue Entry），每个 SQE 64 字节，包含操作码（opcode）、文件描述符、缓冲区地址、数据长度、用户数据（user_data）等字段。内核消费 SQE 后执行对应 I/O 操作。

2.2 完成队列（CQ - Completion Queue）

内核将完成的 I/O 请求以 完成队列条目（CQE - Completion Queue Entry） 形式写入 CQ。CQE 16 字节，包含 user_data（关联发送方）、res（返回值）、flags（标志位）。

2.3 提交队列尾端与内核头端

用户态更新 SQ Tail 索引通知内核有新请求；内核更新 SQ Head 表示已消费。SQ 和 CQ 通过 mmap 映射到用户态，实现零拷贝通信。

三、io_uring API 精解

3.1 初始化与参数配置

struct io_uring_params p;
memset(&p, 0, sizeof(p));
p.flags = IORING_SETUP_SQPOLL;
p.sq_thread_idle = 2000;

int fd = io_uring_queue_init_params(QUEUE_DEPTH, &ring, &p);

3.2 获取 SQE 并填充请求

struct io_uring_sqe *sqe = io_uring_get_sqe(&ring);
io_uring_prep_read(sqe, fd, buf, len, offset);
io_uring_sqe_set_data(sqe, my_data);

3.3 提交与收割完成事件

io_uring_submit(&ring);

struct __timespec ts = { .tv_sec = 1, .tv_nsec = 0 };
struct io_uring_cqe *cqe;
io_uring_wait_cqe_timeout(&ring, &cqe, &ts);

handle_completion(cqe);
io_uring_cqe_seen(&ring, cqe);

四、高级特性与开发技巧

4.1 缓冲区注册（Buffer Registration）

频繁的 I/O 伴随用户态内存 Pin/Unpin 开销。io_uring_register_buffers() 预先注册一组连续缓冲区，内核将其 mmap 到内核空间，消除每次 I/O 的页面故障：

struct iovec iovecs[IOV_MAX];
for (int i = 0; i < IOV_MAX; i++) {
    posix_memalign(&iovecs[i].iov_base, 4096, BUF_SIZE);
    iovecs[i].iov_len = BUF_SIZE;
}
io_uring_register_buffers(&ring, iovecs, IOV_MAX);
io_uring_prep_read_fixed(sqe, fd, buf, len, offset, buf_index);

4.2 链式请求（Linked SQE）

通过 IOSQE_IO_LINK 可以将多个 SQE 链接为原子操作链，前一个失败则后续不执行。非常适合"读取文件头+读取文件体"等事务型操作：

struct io_uring_sqe *sqe1 = io_uring_get_sqe(&ring);
io_uring_prep_read(sqe1, fd, header_buf, HEADER_SIZE, 0);
sqe1->flags |= IOSQE_IO_LINK;

struct io_uring_sqe *sqe2 = io_uring_get_sqe(&ring);
io_uring_prep_read(sqe2, fd, data_buf, data_len, HEADER_SIZE);
io_uring_submit(&ring);

4.3 轮询模式（Polling Mode）

数据库和 NVMe 存储场景可使用 IOPOLL + SQPOLL 模式实现全内核态 I/O 处理：

p.flags |= IORING_SETUP_IOPOLL;
p.flags |= IORING_SETUP_SQPOLL;
p.sq_thread_cpu = 2;

4.4 网络 I/O 支持

io_uring 提供完整的非阻塞网络操作原语：

io_uring_prep_accept(sqe, listen_fd, addr, addrlen, flags);
io_uring_prep_recv(sqe, sockfd, buf, len, flags);
io_uring_prep_send(sqe, sockfd, buf, len, flags);
io_uring_prep_close(sqe, fd);

五、实战项目：基于 io_uring 的高性能 Echo 服务器

以下是一个简化版的生产级 io_uring Echo Server，展示了完整的请求-响应生命周期：

#include <liburing.h>
#include <netinet/in.h>

#define QUEUE_DEPTH 4096
#define BUF_SIZE 1024
#define MAX_CONN 1024

struct conn_info {
    int fd;
    unsigned type;
    char buf[BUF_SIZE];
};

struct io_uring ring;
struct conn_info conns[MAX_CONN];

void submit_accept(int listen_fd) {
    struct io_uring_sqe *sqe = io_uring_get_sqe(&ring);
    conns[listen_fd].fd = listen_fd;
    conns[listen_fd].type = 1;
    io_uring_prep_accept(sqe, listen_fd, NULL, NULL, 0);
    io_uring_sqe_set_data(sqe, &conns[listen_fd]);
    io_uring_submit(&ring);
}

int main() {
    struct io_uring_params p = {0};
    p.flags = IORING_SETUP_SQPOLL;
    p.sq_thread_idle = 100;
    io_uring_queue_init_params(QUEUE_DEPTH, &ring, &p);

    struct iovec iovecs[IOV_MAX];
    io_uring_register_buffers(&ring, iovecs, IOV_MAX);

    while (1) {
        struct io_uring_cqe *cqe;
        int ret = io_uring_wait_cqe(&ring, &cqe);
        if (ret < 0) continue;

        struct conn_info *conn = io_uring_cqe_get_data(cqe);
        int res = cqe->res;

        if (conn->type == 1) {
            int client_fd = res;
            conns[client_fd].fd = client_fd;
            conns[client_fd].type = 2;
            struct io_uring_sqe *sqe = io_uring_get_sqe(&ring);
            io_uring_prep_recv(sqe, client_fd, conns[client_fd].buf, BUF_SIZE, 0);
            io_uring_sqe_set_data(sqe, &conns[client_fd]);
            submit_accept(listen_fd);
            io_uring_submit(&ring);
        } else if (conn->type == 2) {
            conns[conn->fd].type = 3;
            struct io_uring_sqe *sqe = io_uring_get_sqe(&ring);
            io_uring_prep_send(sqe, conn->fd, conn->buf, res, 0);
            io_uring_sqe_set_data(sqe, conn);
            io_uring_submit(&ring);
        } else if (conn->type == 3) {
            conns[conn->fd].type = 2;
            struct io_uring_sqe *sqe = io_uring_get_sqe(&ring);
            io_uring_prep_recv(sqe, conn->fd, conn->buf, BUF_SIZE, 0);
            io_uring_sqe_set_data(sqe, conn);
            io_uring_submit(&ring);
        }

        io_uring_cqe_seen(&ring, cqe);
    }
    io_uring_queue_exit(&ring);
    return 0;
}

六、性能调优与生产实践

6.1 队列深度的选择

QUEUE_DEPTH 应根据工作负载特征设置：延迟敏感型设置 256-1024，吞吐型设置 4096-16384。过大的队列深度可能导致内存浪费和延迟增加。

6.2 SQPOLL 的使用注意

  • SQPOLL 内核线程需要 CAP_SYS_ADMIN 权限
  • 空闲时通过 sq_thread_idle 参数控制线程睡眠时间，平衡 CPU 占用与延迟
  • 避免在短生命周期进程中使用 SQPOLL（线程清理开销）

6.3 零拷贝场景优化

结合 IORING_OP_SENDMSG 与 MSG_ZEROCOPY 标志，以及缓冲区注册功能，可以实现真正的零拷贝网络传输。

七、io_uring 在数据库和存储引擎中的应用

近年来，主流数据库和存储引擎纷纷引入 io_uring：

  • MySQL 8.0.31+：InnoDB 支持通过 io_uring 加速 doublewrite buffer 和 redo log 写入
  • PostgreSQL 16+：WAL 写入和 IO 完成支持 io_uring 后端
  • RocksDB：通过自定义 Env 实现 io_uring 异步文件 IO
  • Tokio（Rust async runtime）：提供 io_uring 驱动模式（tokio-uring crate）
  • Seastar（C++ 异步框架）：原生支持 io_uring 作为底层 IO 引擎

八、Linux 6.x 内核中的 io_uring 新特性

Linux 6.x 内核为 io_uring 带来了多项重要改进：

  • 6.1：新增 IORING_MSG_RING，支持 ring 间异步消息传递
  • 6.3：sendmsg 和 recvmsg 支持高级 socket 选项
  • 6.5：新增文件描述符直接安装功能
  • 6.6：支持按 fd 批量取消请求
  • 6.7：缓冲区选择扩展、网络操作原语（IORING_OP_BIND/IORING_OP_LISTEN）

九、io_uring 与 epoll 的协同

io_uring 并非要替代 epoll，而是互补。常见架构是：

  • epoll 管理网络连接可读/可写事件通知
  • io_uring 执行实际的数据收发和文件 I/O
  • 通过 IORING_OP_POLL_ADD 实现统一的事件循环

Nginx 团队正在开发原生 io_uring 支持模块，预计将大幅提升静态文件服务能力。

十、总结与展望

io_uring 是 Linux 内核 2019 年以来最重要的 I/O 子系统革新。它的设计哲学是"共享内存 + 批量化 + 轮询化"，通过将用户态与内核态之间的交互成本降到近乎为零，使 Linux 在 I/O 性能上可以与 SPDK/DPDK 等用户态驱动相媲美，同时保留了内核态的安全性和兼容性。

随着 Linux 6.x 内核持续扩展 io_uring 的能力边界（网络绑定/监听、文件描述符安装、跨 ring 消息），io_uring 正在从"高性能文件 I/O 框架"演变为"通用的异步系统操作引擎"。对于任何追求极致 I/O 性能的 C/C++/Rust 项目，掌握 io_uring 已经从加分项变为必备技能。

参考资料

点赞(0) 打赏
Linux 内核进程调度器深度剖析：从 CFS 红黑树到 EEVDF 算法的完整工程实践
Linux 内核进程调度器深度剖析：从 CFS 红黑树到 EEVDF 算法的完整工程实践
Linux 内核 io_uring SQPOLL 线程池化与 CPU 绑核工程实战
Linux 内核 io_uring SQPOLL 线程池化与 CPU 绑核工程实战
深入理解 Linux io_uring：高性能异步 I/O 从原理到实战
深入理解 Linux io_uring：高性能异步 I/O 从原理到实战
深入理解 Linux io_uring：新一代异步 I/O 接口如何重塑高性能网络编程
深入理解 Linux io_uring：新一代异步 I/O 接口如何重塑高性能网络编程

评论列表 共有 0 条评论

暂无评论
立即
投稿

微信公众账号

微信扫一扫加关注

 发表
评论 返回
顶部