现代云原生环境中,单台服务器承载数十万甚至数百万 PPS 已成为常态。从硬件中断触发到用户态 recvmsg() 返回数据,这中间经历了硬中断、软中断调度、NAPI 轮询、GRO 合并、协议栈分发等多个环节。任何一个环节出现瓶颈,都会导致 P99 延迟飙升或吞吐塌陷。本文将从内核源码级别拆解网络收包全链路,结合实战调优经验,帮助读者构建系统性的网络性能优化认知。

一、数据包的生命周期全景

一个以太网帧到达网卡后,到用户态进程读取到数据,完整路径如下:

  1. 网卡收到帧,通过 DMA 写到预分配的 sk_buff 环形缓冲区(Ring Buffer)
  2. 网卡写完后更新硬件寄存器,触发 MSI-X 中断
  3. CPU 进入硬中断 handler,屏蔽该中断线,调度 NET_RX_SOFTIRQ
  4. SoftIRQ handler 启动 NAPI 轮询,批量处理收包直到 budget 耗尽
  5. 包经过 GRO 合并、协议栈处理,最终放入 socket 接收队列
  6. 用户态进程通过 read() / recvmsg() 读取数据

理解这条路径的瓶颈分布,是调优的第一步。

二、硬中断:快进快出是第一原则

硬中断的设计铁律是 最小化处理。Linux 的网卡驱动在硬中断中通常只做两件事:确认中断来源、调度软中断。

// drivers/net/ethernet/intel/ice/ice_main.c (简化)
static irqreturn_t ice_msix_clean_rings(int irq, void *data)
{
    struct_q_vector *q_vector = data;
    __napi_schedule(&q_vector->napi);  // 仅调度 NAPI
    return IRQ_HANDLED;
}

历史上曾因 net.core.netdev_max_backlog 配置过大导致硬中断中处理时间过长,引发 RX lockup。现代驱动遵循"硬中断中只调度不处理"的模式。

关键参数:

  • smp_affinity / irqbalance:控制 MSI-X 中断绑定到特定 CPU
  • /proc/interrupts:观察中断分布是否均匀
  • nohz_full + rcu_nocbs:减少时钟中断对网络 CPU 的干扰

三、SoftIRQ:吞吐量与延迟的拉锯战

软中断是实际执行网络收包的主要场所。每个 CPU 有一个 softirq_vec[NET_RX_SOFTIRQ],由 do_softirq() 或专用内核线程 ksoftirqd 执行。

3.1 软中断的调度时机

// kernel/softirq.c
void __raise_softirq_irqoff(unsigned int nr)
{
    struct softirq_action *h = &this_cpu_ptr(&vecvec)->action[nr];
    if (!__softirq_pending(or_vec, nr))
        __raise_softirq(nr);  // 标记待执行,检查是否需要抢占
}

软中断的三种触发时机:

  1. 硬中断返回时(irq_exit)
  2. 系统调用返回用户态前(exit_to_user_mode)
  3. ksoftirqd 线程被唤醒时(当软中断被屏蔽或高频触发时)

3.2 ksoftirqd 的困境

当包到达速率超过软中断消耗速率时,ksoftirqd 持续运行,消耗大量 CPU:

top - 14:23:01 up 2 days,  3:45
%Cpu0  :  2.1 us,  0.0 sy,  0.0 ni,  0.0 id,  0.0 wa
%Cpu1  :  1.5 us,  0.0 sy,  0.0 ni,  0.0 id,  0.0 wa
%Cpu2  :  0.0 us, 95.2 sy,  0.0 ni,  0.0 id,  0.0 wa  <-- ksoftirqd 打满

这一现象称为 "softirq storm",通常意味着需要切换到 polling 模式或启用多队列分发。

四、NAPI:轮询模型的工程之美

NAPI(New API)是 Linux 网络栈的革命性设计。它不是纯轮询,而是 中断 + 轮询的混合模型:

  1. 默认处于中断模式:收到中断后进入轮询
  2. 轮询期间关闭该网卡中断
  3. 处理完所有包后重新开启中断

4.1 核心数据结构

// include/linux/netdevice.h
struct napi_struct {
    struct list_head list;
    unsigned long state;
    int weight;            // 每次轮询的预算(默认 64)
    unsigned int (*poll)(struct napi_struct *, int);
};

4.2 Budget 机制

net.core.netdev_budget(默认 300)控制单次 softirq 中所有网卡总共能处理的包数。每个网卡的 weight 默认为 64。当多个网卡共享 CPU 时,budget 决定了轮询的公平性。

# 查看当前配置
sysctl net.core.netdev_budget  # 300
sysctl net.core.netdev_budget_usecs  # 2000 (微秒)

五、多队列网卡与 RSS

现代网卡支持 8-128 个 TX/RX 队列,通过 RSS(Receive Side Scaling)将不同流分发到不同 CPU。

5.1 RSS 分发算法

五元组(src_ip, dst_ip, src_port, dst_port, proto)经过 Toeplitz 哈希后取模决定队列:

# 查看 RSS 哈希密钥
ethtool -x eth0

# 查看各队列中断计数
cat /proc/interrupts | grep eth0

# 设置队列数和队列大小
ethtool -L eth0 combined 8
ethtool -G eth0 rx 4096 tx 4096

5.2 XPS 发送队列映射

XPS(Transmit Packet Steering)对称解决发送方向的 CPU 与队列绑定问题,避免 cache line 抖动:

# CPU 0-3 使用 TX queue 0-3
echo f > /sys/class/net/eth0/queues/tx-0/xps_cpus

六、GRO 与收包批量处理

GRO(Generic Receive Offload)在收包路径上做类似 GSO 的批量合并,将多个小 sk_buff 合并为一个大的等大小数据段:

// net/ipv4/tcp_gro.c
struct sk_buff *tcp_gro_receive(struct list_head *head, struct sk_buff *skb)
{
    struct sk_buff *p;
    list_for_each_entry(p, head, list) {
        if (tcp_skb_can_gro(p, skb)) {
            skb_gro_pull(skb, th->doff * 4);
            list_add(&skb->list, head);
            return NULL;  // 合并成功
        }
    }
    // 无法合并,添加到链表
    list_add_tail(&skb->list, head);
    return pp;
}

GRO 使 TCP 收包路径从逐包处理变为批量处理,显著减少协议栈函数调用次数。但 GRO 也引入了额外的合并延迟——每次都要等下一个包到来才能合并。对于延迟敏感场景,可考虑关闭 GRO 或调小 gro_flush_timeout:

# 查看 GRO 状态
ethtool -k eth0 | grep generic-receive-offload
# 调整 GRO 合并延迟
ethtool -C eth0 rx-usecs 50

七、中断合并(Coalescing)调优

中断合并是吞吐量和延迟的 trade-off:

# 查看当前合并参数
ethtool -C eth0
# Adaptive mode 自动调整
ethtool -C eth0 adaptive-rx on adaptive-tx on
# 固定低延迟
ethtool -C eth0 rx-usecs 0 tx-usecs 0 rx-frames 1 tx-frames 1
# 固定高吞吐
ethtool -C eth0 rx-usecs 100 tx-usecs 100 rx-frames 64 tx-frames 64

关键经验值:

场景rx-usecsrx-frames效果
高频交易01最小延迟,最高 CPU 开销
普通 Web 服务5064平衡延迟与吞吐
大数据传输100+128+最大吞吐,更高延迟

八、性能压测方法论

8.1 使用 pktgen 验证吞吐

# 加载 pktgen 模块
modprobe pktgen
# 设置目标速率
echo "pkt_size 64" > /proc/net/pktgen/eth0
echo "dst 10.0.0.2" > /proc/net/pktgen/eth0
echo "ratep 1000000" > /proc/net/pktgen/eth0  # 1Mpps
echo "start" > /proc/net/pktgen/pgctrl

8.2 使用 ftrace 追踪收包延迟

# 启用收包路径追踪
echo 1 > /sys/kernel/debug/tracing/events/net/net_dev_xmit/enable
echo 1 > /sys/kernel/debug/tracing/events/net/netif_receive_skb/enable
echo 1 > /sys/kernel/debug/tracing/events/napi/napi_poll/enable

# 查看结果
cat /sys/kernel/debug/tracing/trace_pipe

8.3 perf 分析 softirq 热点

perf record -e cycles,instructions -C 2 -g -- sleep 10
perf report --sort=dso,symbol
# 常见热点函数:
# - __napi_schedule
# - netif_receive_skb_internal  
# - tcp_v4_rcv
# - ip_local_deliver

九、调优策略总结

场景一:小吞吐高延迟敏感(金融交易、实时通信)

核心策略:最低轮询延迟
- smp_affinity: 专用 1-2 个 CPU 处理中断
- nohz_full + rcu_nocbs: 隔离 CPU,降低时钟中断
- ethtool -C eth0 rx-usecs 0 rx-frames 1
- 关闭 irqbalance,手动绑定中断
- 使用 SO_BUSY_POLL 让应用轮询

场景二:大吞吐云服务(负载均衡、对象存储、CDN)

核心策略:最大化批量处理
- 启用多队列 RSS,绑定中断到多 CPU
- ethtool -C eth0 adaptive-rx on
- net.core.netdev_budget 提升到 600-800
- 启用 GRO/GSO,确认 gro_flush_timeout 适合
- 大 Ring Buffer (ethtool -G eth0 rx 4096)

场景三:混合流量/Web 服务

核心策略:Adaptive 自动适配
- ethtool -C eth0 adaptive-rx on adaptive-tx on
- 使用 cake/fq_codel 队列管理
- 监控 %si(softirq CPU 占比)
- 必要时启用 RPS/RFS 进一步分流

十、避坑指南

陷阱一:Ring Buffer 溢出

Ring Buffer 满时包直接丢弃,应用层表现为 retransmit 或零窗口。监控方法:

ethtool -S eth0 | grep -E "dropped|missed|errors"

陷阱二:CPU 频率缩放

节能模式下 CPU 频率降低,导致软中断处理变慢。调优命令:

cpupower frequency-set -g performance

陷阱三:NUMA 远端内存访问

网卡绑定在 NUMA node 0,但软中断在 node 1 的 CPU 上处理,导致跨节点内存访问:

# 查看网卡所属 NUMA 节点
cat /sys/class/net/eth0/device/numa_node
# 将中断绑定到同节点 CPU
echo <cpu_mask> > /proc/interrupts/IRQ/smp_affinity

陷阱四:GRO 合并造成乱序

特定场景下 GRO 可能合并属于不同连接的包。解决:

ethtool -K eth0 gro off  # 关闭 GRO
# 或使用 ntuple filter 精确分流
ethtool -N eth0 flow-type tcp4 dst-ip 10.0.0.1 action 1

总结

Linux 网络收包是一个精巧的分层系统:硬中断做最小调度,softirq 做主要工作,NAPI 在轮询和中断间自适应,GRO 在协议栈入口做多包合并,RSS/XPS 在硬件和多核间做分发。每一层都有明确的职责和可调参数。

调优的核心哲学是:基于实际测量而非经验猜测。从 ethtool -S 看硬件计数器,从 /proc/net/softnet_stat 看软件丢包,从 perf top 看 CPU 热点。只有数据驱动的调优才能在高并发场景下稳定交付 P99 延迟目标。

点赞(0) 打赏

评论列表 共有 0 条评论

暂无评论
立即
投稿

微信公众账号

微信扫一扫加关注

发表
评论
返回
顶部