Linux io_uring 深入实战：高性能异步IO架构与内核调优全解析

#include <liburing.h>

struct io_uring ring;
struct io_uring_params params;

// 初始化参数
memset(&params, 0, sizeof(params));

// SQPOLL模式：内核轮询线程自动收割SQ
params.flags |= IORING_SETUP_SQPOLL;
params.sq_thread_idle = 2000; // 空闲2ms后线程休眠

// 创建 io_uring 实例，队列深度 4096
int ret = io_uring_queue_init_params(4096, &ring, &params);
if (ret < 0) {
    fprintf(stderr, "io_uring init failed: %s\n", strerror(-ret));
    return ret;
}

// 1. 获取一个 SQE
struct io_uring_sqe *sqe = io_uring_get_sqe(&ring);
if (!sqe) {
    // SQ 已满，先提交一批再获取
    io_uring_submit(&ring);
    sqe = io_uring_get_sqe(&ring);
}

// 2. 准备读操作
int fd = open("data.bin", O_RDONLY);
char *buf = aligned_alloc(4096, 4096);
io_uring_prep_read(sqe, fd, buf, 4096, 0); // offset=0
io_uring_sqe_set_data(sqe, buf); // 用户上下文

// 3. 提交到内核
io_uring_submit(&ring);

// 4. 收割完成事件（非阻塞）
struct io_uring_cqe *cqe;
int ret = io_uring_peek_cqe(&ring, &cqe); // 不等待
if (ret == 0 && cqe->res >= 0) {
    char *result = io_uring_cqe_get_data(cqe);
    printf("读入 %d 字节\n", cqe->res);
}

io_uring_cqe_seen(&ring, cqe); // 标记CQE已处理

struct io_uring_sqe *sqe1 = io_uring_get_sqe(&ring);
io_uring_prep_openat(sqe1, AT_FDCWD, "config.json", O_RDONLY, 0);
io_uring_sqe_set_data(sqe1, (void*)1);
io_uring_sqe_set_flags(sqe1, IOSQE_IO_LINK); // 链接标记

struct io_uring_sqe *sqe2 = io_uring_get_sqe(&ring);
io_uring_prep_read(sqe2, -1, buf, 4096, 0); // fd=-1 由 linked open 填充
io_uring_sqe_set_data(sqe2, (void*)2);
io_uring_sqe_set_flags(sqe2, IOSQE_IO_LINK);

struct io_uring_sqe *sqe3 = io_uring_get_sqe(&ring);
io_uring_prep_close(sqe3, -1, 0);
io_uring_sqe_set_data(sqe3, (void*)3);

io_uring_submit(&ring); // 三个操作一次性提交

# 增大异步 I/O 最大并发请求数
echo 1048576 > /proc/sys/fs/aio-max-nr

# 增大单个用户的 AIO 请求数限制
echo 1048575 > /proc/sys/fs/aio-nr

# 调整进程文件描述符限制
ulimit -n 1048576

# 内存锁定限制（用于 SQ/CQ 共享内存锁定）
ulimit -l unlimited

# 增大最大内存映射区域
echo 2147483648 > /proc/sys/vm/max_map_count

# 查看 io_uring 轮询线程
pgrep -f "io-uring"

# 将 SQPOLL 线程绑定到特定 CPU 核
taskset -c 2,3 <io_uring_thread_pid>

# 通过 cgroup 限制 CPU 使用
echo "200000 1000000" > /sys/fs/cgroup/io_uring/cpu.max

[Client] → (recvmsg) → [内核 splice pipe] → (splice/sendmsg) → [Backend Server]
                          io_uring SQ 提交               CQ 收割完成

// 预注册缓冲区集
struct iovec iovecs[128];
for (int i = 0; i < 128; i++) {
    iovecs[i].iov_base = aligned_alloc(4096, 4096);
    iovecs[i].iov_len = 4096;
}
io_uring_register_buffers(&ring, iovecs, 128);

// 使用 registered buffer 读写（零拷贝）
io_uring_prep_read_fixed(sqe, fd, buf, 4096, 0, buf_index);
io_uring_prep_write_fixed(sqe, fd, buf, 4096, 0, buf_index);

# 高性能 io_uring 配置
io_uring:
  queue_depth: 4096          # NVMe SSD 场景
  sqpoll: true               # 启用内核轮询
  sqpoll_cpu: 2              # 绑定 CPU 核 2-3
  sqpoll_idle_ms: 100       # 空闲100ms后线程休眠
  connected_buf: true        # 预注册固定缓冲组
  buf_size: 4096             # 单个缓冲大小
  buf_count: 256            # 缓冲总数
  defer_task: true           # 启用延迟任务执行

# 工作线程
worker_threads: 4            # 处理 CQ 线程数

# 查看 io_uring 实例状态
cat /proc/<pid>/io_uring

# 跟踪 io_uring 系统调用
bpftrace -e "tracepoint:io_uring:io_uring_submit_sqe /comm==\"myapp\"/ { @[args->op] = count(); }"

# 监控 SQ/CQ 队列深度 (SQPOLL模式下)
watch -n 0.5 'cat /sys/kernel/debug/io_uring/*'