NVMe 命名空间、Queue Depth 与多线程 IO 调优可验证指南

本文聚焦单盘/多命名空间与多线程 IO 的协同：在 Linux 环境使用 `nvme` 与 `fio` 验证 Queue Depth 与线程数的影响，避免盲目加深队列导致延迟恶化或热失速。

## 命名空间与控制器信息

sudo nvme id-ctrl /dev/nvme0     # 控制器能力
sudo nvme list-ns /dev/nvme0     # 命名空间列表
sudo nvme id-ns /dev/nvme0 -n 1  # 查看 ns1 规格（LBAS 等）

要点：企业级 NVMe 可提供多命名空间以隔离工作负载或配合 SR-IOV；每个命名空间拥有独立的逻辑块地址空间与健康统计。

## fio 基线与队列深度

1. 顺序读基线（128k，QD=32）：

sudo fio --name=seq_read --filename=/dev/nvme0n1 --direct=1 \
  --ioengine=libaio --rw=read --bs=128k --iodepth=32 --numjobs=1 \
  --runtime=30 --time_based --group_reporting

2. 随机读（4k，多线程）：

sudo fio --name=rand_read --filename=/dev/nvme0n1 --direct=1 \
  --ioengine=libaio --rw=randread --bs=4k --iodepth=64 --numjobs=8 \
  --runtime=60 --time_based --group_reporting

观察指标：`bw`、`iops` 与 `clat (usec)`；增大 `iodepth` 与 `numjobs` 可提升并行度，但会提高尾延迟与温度，需在目标 SLO 下权衡。

## 多命名空间并行

# 针对 ns1 与 ns2 并行压测（示例）
sudo fio --name=ns1 --filename=/dev/nvme0n1 --direct=1 --ioengine=libaio \
  --rw=randread --bs=4k --iodepth=64 --numjobs=4 --runtime=60 --time_based --group_reporting &
sudo fio --name=ns2 --filename=/dev/nvme0n2 --direct=1 --ioengine=libaio \
  --rw=randread --bs=4k --iodepth=64 --numjobs=4 --runtime=60 --time_based --group_reporting &
wait

要点：多命名空间可在控制器级并行，但同一物理介质与通道带宽仍共享；当总并行度接近控制器瓶颈时，需降低各命名空间的队列深度以稳定尾延迟。

## 平台与队列限制

• CPU 与中断：观察 `/proc/interrupts` 与 `iostat -x`，避免单核中断负载过高；可通过中断亲和与 `numactl` 调整。
• 队列请求数：

  cat /sys/block/nvme0n1/queue/nr_requests

• 温度与降速：当 `Composite Temperature` 升高触发热保护（thermal throttling），需降低并行度或改善散热。

## 调优建议

• 顺序读写：优先提高 `iodepth` 至 32–128，确保通道饱和；结合大块大小（128k/256k）。
• 随机 IO：以 `numjobs`×`iodepth` 作为并行度控制，逐步拉升并观察 `p99` 延迟；在达到控制器与介质上限前停止拉升。
• 命名空间与隔离：为不同业务分配独立命名空间与并行度配额，避免互相抢占导致尾延迟波动。

## 结语

NVMe 的性能调优关键在于队列深度与线程数的平衡，以及平台中断与温度的协同优化。通过可复现的 `nvme`/`fio` 命令与观测指标，可在生产环境中获得稳定可控的带宽与 IOPS。