Linux网络协议栈深度实战：从Socket到epoll与零拷贝的全链路剖析

2.3 TCP缓冲区与流量控制

TCP通过滑动窗口机制实现流量控制：

• 接收窗口(rwnd)：通知发送方自己的可用缓冲区大小，防止接收方被淹没
• 拥塞窗口(cwnd)：发送方根据拥塞控制算法维护的窗口
• 发送窗口：取min(rwnd, cwnd)，确保既不拥塞接收方也不拥塞网络

内核通过tcp_rcv_space_adjust动态调整接收窗口，实现自动调优(autotuning)。缓冲区大小通过net.ipv4.tcp_rmem和net.ipv4.tcp_wmem参数控制。

三、I/O多路复用：select→poll→epoll演进

3.1 select的局限性

select是POSIX标准的I/O多路复用接口，但存在明显缺陷：

• 文件描述符数量受限于FD_SETSIZE(通常1024)
• 每次调用需遍历全部fd集合，时间复杂度O(n)
• 需每次重新设置fd_set，因为调用后会被内核修改
• 无法动态添加/删除fd而不影响其他线程

3.2 poll的改进与不足

poll使用动态数组替代固定位图，解决了fd数量限制，但仍是O(n)遍历。在大量连接、少量活跃的场景下效率极低。

3.3 epoll的革命性设计

epoll是Linux 2.6内核引入的高性能I/O事件通知机制，核心设计思想：

• 事件驱动：内核维护就绪列表，仅通知活跃fd
• 红黑树存储：使用红黑树管理所有监听的fd，支持O(log n)的增删改查
• 回调机制：当fd就绪时，内核回调函数将其加入就绪链表

3.4 epoll工作模式：LT vs ET

LT(Level Triggered, 电平触发)：默认模式。只要fd处于可读/可写状态，epoll_wait就会持续通知。实现简单，不易出错，但可能产生不必要的唤醒。

ET(Edge Triggered, 边沿触发)：仅当fd状态变化时才通知。一旦通知后，必须将缓冲区数据全部读完(read返回EAGAIN为止)，否则可能丢失事件。ET模式可以减少epoll_wait调用次数，是高并发场景的首选。

3.5 epoll与多线程/多进程模型

现代高性能服务器通常采用以下架构：

• 主从reactor模式：主线程负责accept，子reactor线程负责I/O事件分发与处理
• 每个reactor绑定独立CPU核心，通过SO_REUSEPORT或accept锁(如Linux 4.5+的SO_ATTACH_REUSEPORT_CBPF)均衡连接分配
• 充分利用多核并行处理能力，避免单线程epoll成为瓶颈

四、零拷贝技术家族

4.1 DMA与内核缓冲

传统网络I/O涉及多次数据拷贝：磁盘→内核PageCache→用户缓冲区→Socket缓冲区→NIC缓冲区。零拷贝的目标是消除不必要的CPU拷贝和上下文切换。

4.2 mmap+write方案

mmap将内核PageCache映射到用户空间地址，用户进程直接访问内核缓冲区，省去一次CPU拷贝。但仍需要通过write将数据从PageCache拷贝到Socket缓冲区。

4.3 sendfile方案

sendfile是Linux 2.1引入的系统调用，完全在内核态完成数据从文件到Socket的传输：

ssize_t sendfile(int out_fd, int in_fd, off_t *offset, size_t count);

数据路径：磁盘→PageCache→Socket缓冲区→NIC，仅涉及2次DMA拷贝，0次CPU拷贝。适用于静态文件传输场景。

4.4 splice与tee方案

splice可以在两个文件描述符之间移动数据，无需用户空间中转：

ssize_t splice(int fd_in, loff_t *off_in, int fd_out, loff_t *off_out, size_t len, unsigned int flags);

利用内核管道缓冲区(pipe buffer)实现零CPU拷贝的数据移动，适合实现代理类应用的正向数据转发。

4.5 MSG_ZEROCOPY与io_uring

Linux 4.14引入MSG_ZEROCOPY标志，允许send/sendmsg在可能时绕过Socket缓冲区，直接将PageCache页面映射到NIC。需要配合NIC驱动支持分散-聚集(DMA scatter-gather)。