DDR5 内存通道与 Gear 模式带宽测量：STREAM、numactl 与 NUMA 实战

本文面向使用 DDR5 的服务器平台，围绕 NUMA 绑定与 STREAM 基准进行带宽测量与对比。以可验证的命令与输出要点，帮助运维与性能工程确定通道配置、线程并行度与内存分配策略的最佳组合。

## 平台前提与已知事实

• DDR5 将每个 DIMM 拆分为两个独立的 32-bit 子通道，提高并发与效率（JEDEC 标准）。
• 常见服务器平台内存通道：
• Intel Xeon Scalable（Sapphire Rapids）每路 8 通道 DDR5。
• AMD EPYC 9004（Genoa）每路 12 通道 DDR5。
• 服务器通常使用 ECC RDIMM；在相同频率下，ECC 开销对带宽影响有限，稳定性更高。

## 硬件拓扑与 NUMA 检查（可复现）

lscpu --extended
numactl --hardware
dmidecode -t memory | egrep -i 'Size|Speed|Locator'  # 需要 root

要点：确认节点数与每路 DIMM 分布，避免跨 Socket 访问导致带宽下降与延迟上升。

## 构建与运行 STREAM（可复现）

sudo apt-get install -y build-essential
wget https://www.cs.virginia.edu/stream/FTP/Code/stream.c -O stream.c
gcc -O3 -fopenmp -DSTREAM_ARRAY_SIZE=100000000 -DNTIMES=20 stream.c -o stream

# 单节点绑定运行（示例：绑定到 NUMA 节点 0）
numactl --cpunodebind=0 --membind=0 ./stream

观察输出中的 `Copy/Scale/Add/Triad`（GB/s）：在合理的线程数（如等同该节点可用核心数）下，应接近该平台的单路理论峰值的 60–85%。不同 BIOS 的内存频率/时序与通道填充会影响结果。

## 跨节点与并发度对比

# 跨节点绑定（示例：两个节点各绑定一半线程）
numactl --cpunodebind=0 --membind=0 ./stream &
numactl --cpunodebind=1 --membind=1 ./stream &
wait

要点：跨节点并行可近似线性提升总带宽，但单进程跨节点（`--membind` 未限制）会因远程访问导致明显波动。建议按节点划分进程或线程池。

## Gear 模式与时序说明

部分平台通过内存控制器分频（俗称 Gear 模式）在高频率下维持稳定性，表现为更高带宽与略增的访问延迟。该模式由 BIOS/微码管理，测试时以实际 `STREAM` 与延迟基准（如 `mbw`）结果为准，不同主板与 CPU 的实现差异较大。

## 结合 `mbw` 的延迟测量（可复现）

sudo apt-get install -y mbw
numactl --cpunodebind=0 --membind=0 mbw 1000

要点：观测不同块大小与绑定策略下的传输速率，验证本地/远端访问差异并与 STREAM 的 GB/s 输出形成互证。

## 注意事项

• 测试期间避免其他重载任务；建议在维护窗口执行，固化 BIOS 的频率/时序配置以获得可重复结果。
• DIMM 填充（每通道/每插槽）与 NUMA 拓扑显著影响带宽；上线前以 `dmidecode` 与供应商配置单进行核对。
• 不同编译器与优化标志会影响 STREAM 结果；建议统一 `-O3 -fopenmp` 并记录版本。

## 相关文章（同分类热门）

• [DDR5、ECC 与内存对齐可验证指南](./DDR5、ECC 与内存对齐可验证指南.md)

## 结语

通过 NUMA 绑定与 STREAM/mbw 的组合测量，可以在真实服务器环境下获得可重复的 DDR5 带宽与延迟画像，并据此优化线程并行度、进程调度与内存分配策略，提升整体吞吐与稳定性。