当一张网卡可以直接读写主机的任意物理内存时,系统安全的根基就动摇了。IOMMU 正是为解决这一问题而生——它既是设备直通的基石,也是现代虚拟化安全的第一道防线。

一、问题的起点:DMA 的"裸奔"时代

在没有 IOMMU 的时代,外设发起的 DMA(Direct Memory Access)操作可以访问物理地址空间的任意位置。这意味着:

  1. 恶意或故障设备可以覆盖内核代码、窃取密钥数据、篡改页表。
  2. 驱动 Bug 可能让设备写入错误区域,导致静默数据损坏。
  3. 虚拟化场景中,Guest 物理地址与 Host 物理地址不对应,设备直接使用 Guest 物理地址会直接崩溃。

传统的解决方案是 bounce buffer(弹跳缓冲区):内核在设备可访问的低地址区域分配一块内存,数据先 DMA 到 bounce buffer,再由 CPU 拷贝到目标位置。这种方式在 32 位时代大行其道,但在 64 位时代和高速 NVMe 网卡场景下,额外的拷贝开销已不可接受。

IOMMU 的出现,让设备第一次拥有了受控的地址空间视图——就像 CPU 有 MMU 一样,设备有了"自己的 MMU"。


二、IOMMU 硬件架构:从 PCIe ATC 到二级页表

现代 IOMMU 的核心思想与 CPU MMU 类似:每个设备(或进程)看到的是 I/O 虚拟地址(IOVA),IOMMU 负责将其翻译为物理地址。

2.1 Intel VT-d 架构

Intel VT-d 是最广泛部署的 IOMMU 实现,其核心数据结构是 root table 和 context table 组成的二级查找结构:

┌─────────────────────────────────────────┐
│           Root Table (256 项)            │
│  每个 PCI Bus 对应一个 Entry             │
│  ┌───────────────────────────────────┐  │
│  │ Bus 0 → Context Table ptr        │  │
│  │ Bus 1 → Context Table ptr        │  │
│  │ ...                              │  │
│  └───────────────────────────────────┘  │
└─────────────────────────────────────────┘
                    │
                    ▼
┌─────────────────────────────────────────┐
│         Context Table (256 项)           │
│  每个 Function (Device.Function) 一个    │
│  ┌───────────────────────────────────┐  │
│  │ Dev:Fn → Second-level Page Table │  │
│  │ Dev:Fn → PASID Table (SVA/PRI)  │  │
│  │ TTP (Translation Type) 控制       │  │
│  └───────────────────────────────────┘  │
└─────────────────────────────────────────┘
                    │
                    ▼
┌─────────────────────────────────────────┐
│      Second-level Page Table             │
│  类似 CPU 页表的多级结构                 │
│  支持 4KB / 2MB / 1GB 页映射            │
│  最终翻译为 Host Physical Address       │
└─────────────────────────────────────────┘

关键寄存器:

  • DMAR_GSTS(Global Status):IOMMU 使能状态
  • DMAR_RTADDR(Root Table Address):根表物理地址
  • DMAR_FECTL(Fault Event Control):错误中断配置
  • DMAR_FEDATA / DMAR_FEADDR:错误信息寄存器

2.2 AMD-Vi (IOMMU) 架构

AMD 的实现称为 Device Table,概念类似但结构略有不同:

  • Device Table:每个 PCI Function 一个 Entry
  • Page Table:类似 CPU 页表的 I/O 页表
  • Interrupt Remapping Table:独立的中断重映射表
  • Event/Pinnet Buffer:环形缓冲区接收错误事件

2.3 ARM SMMU

ARM 的 System MMU 为 SoC 中的非 CPU 主设备(GPU、NPU、DMA 控制器)提供地址翻译:

  • Stream Table:替代 PCI Bus/Device 概念,使用 StreamID 标识设备
  • Context Descriptor:每个设备/进程的翻译配置
  • 支持 PRI/PASID:进程级 I/O 虚拟化

三、Linux 内核 IOMMU 子系统:DMA API 全解析

Linux 内核提供了一套统一的 DMA 映射 API,底层适配各种 IOMMU 实现:

3.1 DMA 映射的三种模式

/* ========== 模式1: 一致性映射 (Coherent) ========== */
/* 适用于长时间驻留的缓冲区(如描述符环、控制结构) */
void *dma_alloc_coherent(struct device *dev, size_t size,
                          dma_addr_t *dma_handle, gfp_t flag);

/* CPU 和设备同时读写,无 Cache 同步开销 */
/* 底层通常使用 uncacheable 或 write-through 映射 */

/* ========== 模式2: 流式映射 (Streaming) ========== */
/* 适用于一次性传输的缓冲区(如网络包、磁盘 I/O) */
dma_addr_t dma_map_single(struct device *dev, void *cpu_addr,
                           size_t size, enum dma_data_direction dir);

void dma_unmap_single(struct device *dev, dma_addr_t dma_handle,
                       size_t size, enum dma_data_direction dir);

/* dir: DMA_TO_DEVICE / DMA_FROM_DEVICE / DMA_BIDIRECTIONAL */
/* 映射/解映射时需要执行 Cache 刷回操作 (dma_sync_*) */

/* ========== 模式3: SG (Scatter-Gather) 映射 ========== */
/* 适用于非连续物理页面的批量传输 */
int dma_map_sg(struct device *dev, struct scatterlist *sg,
               int nents, enum dma_data_direction dir);

struct scatterlist *sg = ...)  // 构建 sg list
int nents = pci_map_sg(pdev, sglist, nents, direction);
// sg[i].dma_address  → 设备使用的 IOVA
// sg[i].dma_length    → 实际传输长度(可能被 IOMMU 合并)

3.2 IOMMU Domain 与 Group

/* IOMMU Domain = 一组设备的地址空间上下文 */
struct iommu_domain {
    struct iommu_ops *ops;
    void *priv;  // IOMMU 驱动私有数据
    // 页表根指针、地址空间大小等
};

/* IOMMU Group = 必须共享地址空间的设备集合 */
// 判断依据:下游 PCIe Port 是否支持 ACS (Access Control Services)
// 无 ACS 的 Group 内设备不能隔离

/* 查看系统 IOMMU Group 结构 */
# find /sys/kernel/iommu_groups/ -type l
/sys/kernel/iommu_groups/0/devices/0000:00:01.0
/sys/kernel/iommu_groups/1/devices/0000:00:1d.0

3.3 IOMMU Page Table 管理

当 IOMMU 启用时,IO 子系统的页表操作通过 IO_PGTABLE 框架实现:

/* IO Virtual Address (IOVA) 分配策略 */
struct iommu_domain {
    struct iova_domain iovad;  // IOVA 空间管理器
    // 使用 Fls/伙伴系统分配 IOVA 范围
};

/* Intel VT-d 页表操作 (drivers/iommu/intel/iommu.c) */
static struct io_pgtable_ops intel_pgtable_ops = {
    .map        = intel_iommu_map,
    .unmap      = intel_iommu_unmap,
    .iova_to_phys = intel_iommu_iova_to_phys,
    // 支持 lazy TLB 批量失效 ( iotlb_sync )
};

/* 大页支持 (2MB/1GB) - TLB 性能关键 */
# cat /sys/module/vtd/options/enable_1gb_pages
# iommu.passthrough=0/1  // 内核参数控制

四、VFIO:用户态设备驱动的艺术

VFIO (Virtual Function I/O) 是 Linux 中实现 PCI 直通和设备隔离的标准框架。没有 IOMMU,VFIO 无从谈起。

4.1 VFIO 架构流程

┌─────────────────────────────────────────────────────┐
│              QEMU / DPDK / SPDK                     │
│                  (用户态进程)                         │
│   VFIO Device API:                                  │
│   ├── VFIO_DEVICE_GET_INFO          (获取设备信息)  │
│   ├── VFIO_DEVICE_GET_REGION_INFO   (映射 BAR)     │
│   ├── VFIO_DEVICE_GET_IRQ_INFO      (配置中断)     │
│   ├── VFIO_DEVICE_SET_IRQS          (使能中断)     │
│   ├── VFIO_IOMMU_MAP_DMA            (注册内存)     │
│   └── VFIO_DEVICE_RESET             (设备复位)     │
└─────────────────────────────────────────────────────┘
                        │
                        ▼
┌─────────────────────────────────────────────────────┐
│              VFIO Kernel Module                     │
│   /dev/vfio/vfio → IOMMU Framework                 │
│   /dev/vfio/<group> → Group 级访问                  │
│                                                     │
│   关键操作:                                         │
│   └── IOMMU Page Table 程式化构建                   │
│   └── 中断重映射 (Interrupt Remapping)              │
│   └── 容器/Group 隔离验证                           │
└─────────────────────────────────────────────────────┘
                        │
                        ▼
┌─────────────────────────────────────────────────────┐
│           IOMMU 硬件 (Intel VT-d / AMD-Vi)          │
│   ├── 设备特定翻译表                                │
│   ├── 中断重映射表                                  │
│   └── DMA 访问权限控制                              │
└─────────────────────────────────────────────────────┘

4.2 VFIO 实战:将 NVMe 直通给虚拟机

# ====== 步骤1: 加载 VFIO 驱动 ======
# 卸载原驱动,绑定到 vfio-pci
echo "0000:01:00.0" > /sys/bus/pci/devices/0000:01:00.0/driver/unbind
echo "8086 f1a5" > /sys/bus/pci/drivers/vfio-pci/new_id

# ====== 步骤2: 通过 QEMU 使用直通设备 ======
qemu-system-x86_64 \
  -machine q35,kernel_irqchip=split \
  -device vfio-pci,host=01:00.0,multifunction=on \
  ...

# ====== 步骤3: DPDK 直接使用 VFIO 设备 ======
# DPDK 自动通过 VFIO 初始化 IOMMU 设备
./dpdk-test --vdev=vfio-pci,ixgbe

4.3 IOMMU DMA 映射编程接口

/* VFIO 映射进程虚拟地址 → IOVA → 物理内存 */
struct vfio_iommu_type1_dma_map dma_map = {
    .argsz = sizeof(dma_map),
    .flags = VFIO_DMA_MAP_FLAG_READ | VFIO_DMA_MAP_FLAG_WRITE,
    .vaddr = (uint64_t)user_vaddr,   // 进程虚拟地址
    .iova  = target_iova,              // 需要分配的 IOVA
    .size  = buffer_size,              // 映射大小
};

ioctl(vfio_fd, VFIO_IOMMU_MAP_DMA, &dma_map);

/* 
 * 结果: IOMMU 页表建立了 IOVA → 物理页的映射
 *
 * 当设备发起 DMA 到 target_iova 时:
 * 1. IOMMU 查表确认该 IOVA 是否已映射
 * 2. 未映射 → DMAR 错误 (DMA Remapping Fault)
 * 3. 已映射 → 翻译为物理地址,执行访问
 */

五、高级特性:PASID、SVA 与 PRI

5.1 PASID (Process Address Space Identifier)

PCIe 3.1 引入的 PASID 扩展,让单个物理设备可以被多个进程独立共享:

┌─────────────────────────────────────────┐
│              PASID TLP 前缀              │
│  ┌────────┬────────┬─────────────────┐  │
│  │ PASID  │ 其他   │ DMA Request     │  │
│  │ (20bit)│        │                 │  │
│  └────────┴────────┴─────────────────┘  │
└─────────────────────────────────────────┘
                │
                ▼
┌─────────────────────────────────────────┐
│         PASID Table (per device)         │
│  PASID 0 → Process A Page Table        │
│  PASID 1 → Process B Page Table        │
│  PASID 2 → Process C Page Table        │
└─────────────────────────────────────────┘

PASID 让设备分区(如 ML 加速卡)真正共享——不同进程的 DMA 操作天然隔离,无需 QEMU 级别的 MDEV 虚拟化。

5.2 SVA (Shared Virtual Addressing)

SVA 的核心思想:设备直接使用进程的 CPU 页表,IOVA == Virtual Address。

/* 内核 SVA API (drivers/iommu/iommu-sva.c) */
int iommu_sva_bind_device(struct device *dev, struct mm_struct *mm,
                          struct iommu_sva_handle *handle);

/* 工作流程:
 * 1. 进程分配虚拟地址 (malloc / mmap)
 * 2. 进程调用 bind 将设备与自己的 IOMMU 翻译关联
 * 3. CPU 和设备看到同一份页表 → 同一套虚拟地址
 * 4. 设备的缺页由内核驱动处理 (iommu_report_device_fault)
 */

SVA 的好处:

  • 零拷贝共享:设备直接使用进程地址空间,无需 DMA 缓冲区拷贝
  • 简化编程模型:驱动无需管理 IOVA 映射,直接用指针

5.3 PRI (Page Request Interface)

当设备访问未映射的 IOVA 时,触发缺页中断,内核动态填充页表:

/* PRI 缺页处理流程:
 * 1. 设备发起 DMA → IOMMU 缺页 → 产生 Page Request Event
 * 2. 设备发送 Page Request(包含 PASID + Fault Address)
 * 3. 内核处理请求:
 *    a) 合法缺页: 分配物理页,映射到 IOMMU 页表,返回 PRG Response
 *    b) 非法访问: 发送 PRG Response (last+failure) → 设备 DMA 失败
 * 4. 设备重试 DMA
 */

/* 性能关键:批处理 + On-Demand */
# cat /sys/module/vtd/options/pq_latency_priority

六、IOMMU 在虚拟化中的应用

6.1 vIOMMU(虚拟 IOMMU)

Guest OS 需要自己的 IOMMU 来管理 Guest 设备的 DMA。QEMU/KVM 支持模拟两种:

6.2 Scalable Mode (VT-d 2.0 引入)

类型 实现方式 性能 适用场景
Virtio-IOMMIO (virtio-iommu) 软件模拟翻译 中等 通用设备直通行为
intel-iommu (q35) 直接包 passthrough 高 需要 Guest 内 IOMMU 的工作负载

支持更灵活的翻译模式:

  • Legacy Mode:Host IOMMU 翻译 GPA→HPA(KVM 负责)
  • Scalable Mode:两级翻译,Guest IOVA → Guest 物理 → Host 物理
  • 第一级由 Guest 管理 (类似 CPU 二级翻译)
  • 第二级由 Host VT-d 硬件翻译

6.3 MDEV (Mediated Device)

对于无法独立分配的物理 GPU(如 Intel GVT-g、NVIDIA vGPU),通过 MDEV 控制设备复用:

# 查询支持的 MDEV 类型
ls /sys/bus/pci/devices/0000:00:02.0/mdev_supported_types/

# 创建虚拟 GPU 实例
echo "$uuid" > /sys/bus/pci/devices/0000:00:02.0/mdev_supported_types/i915-GVTg_V5_4/create

七、性能优化:IOMMU 的开销与调优

7.1 关键性能开销

IOMMU 引入的主要延迟来源:

7.2 优化策略

# 策略1: 大页 IOMMU 映射 (减少 TLB Miss)
# 启用 1GB 页面对映
echo 1 > /sys/module/vtd/parameters/enable_1gb_pages

# 策略2: IOMMU 透传模式 (高性能信任环境)
# kernel cmdline:
intel_iommu=on iommu.passthrough=1  # 设备直透但保留不可信设备映射

# 策略3: IOTLB 预取和缓存
echo 1 > /sys/module/vtd/parameters/iotlb_prefetch

# 策略4: 减少不必要的映射变更
# 使用大粒度映射,批量无效化

7.3 性能基准:启用 vs 禁用 IOMMU


八、IOMMU 错误排查与调试

8.1 常见错误类型

# 1. DMA Remapping Fault (设备访问未映射 IOVA)
# dmesg:
[  +0.000175] DMAR: [DMA Write] Request device [00:1f.2] PASID overflow fault addr 0xdeadbeef
[  +0.000003] DMAR: fault reason 05 - PTE Write access is not set

# 2. IO_PAGE_FAULT (过程地址错误)
# 设备请求的地址越权 -> 内核尝试修复 (SVA/PRI)

# 3. IOTLB_INV_TIMEOUT 
# 设备在超时内未应答 IOTLB 无效请求 -> 可能设备故障

8.2 调试工具集

# 查看 IOMMU 全局状态
# Intel VT-d
decode-mar.sh   # ACPI DMAR 表解析
dmesg | grep -i dmar

# 查看 Group 结构
#!/bin/bash
for d in /sys/kernel/iommu_groups/*/devices/*; do
    n=$(basename $(dirname $(dirname $d)))
    echo "Group $n - $(lspci -nns $(basename $d))"
done

# 查看 VFIO 设备状态
cat /sys/class/vfio/*/name

# IOVA 映射调试 (内核 DEBUGFS)
mount -t debugfs none /sys/kernel/debug
cat /sys/kernel/debug/iommu/intel_iommu/*/domain_*_mappings

九、未来展望:CXL 与 IOMMU 的融合

环节 典型延迟 说明
页表 Walk 100-200ns 等效 CPU MMU,可 TLB 加速
IOTLB Miss 300-500ns 跨级翻译额外延迟
IOTLB Shootdown 1-10μs 映射无效广播给所有设备
PASID 切换 50-100ns TLB 标签切换
场景 禁用 IOMMU 启用 IOMMU (4KB) 启用 IOMMU (大页)
NVMe 顺序读 8.5 GB/s 8.1 GB/s (-5%) 8.4 GB/s (-1%)
100G NIC 包转发 120Mpps 98Mpps (-18%) 115Mpps (-4%)
GPU P2P DMA 50 GB/s 45 GB/s (-10%) 48 GB/s (-4%)

CXL (Compute Express Link) 带来了缓存一致性内存池化,对 IOMMU 提出新挑战:

  1. Type2 设备 (CXL.accel):像本地设备一样参与缓存一致性,SVA 变得至关重要。
  2. Type3 设备 (CXL.memory):内存池化交换,IOVA 管理的粒度更细。
  3. 多层级翻译:Host Bridge 到 CXL Switch,每层独立的 STE 状态管理。

未来 IOMMU 可能需要:

  • 支持细粒度 (4KB) 的 CXL.memory 热插拔区域
  • 与 CXL.cache 协议协同的一致性边界管理
  • 全局 IOVA 空间寻址 (跨节点共享)

十、总结

IOMMU 是现代系统不可或缺的子系统,承担着设备隔离、安全防护和地址翻译三重职责:

  • 安全:阻止 DMA 攻击,保护内核和用户空间内存
  • 虚拟化:为 VFIO、SVM、MDEV 提供硬件基础
  • 性能:大页映射 + IOTLB + PASID 实现高效 I/O 虚拟化

对于系统工程师而言,理解 IOMMU 意味着理解设备与内存交互的"最后一公里"。无论是调试直通设备的性能异常,还是排查 DMA 错误导致的系统崩溃,IOMMU 知识都是必备的核心技能。

掌握 IOMMU 的硬件架构、内核 API 调优与调试方法,让你在设备驱动、虚拟化基础设施和高性能网络开发中游刃有余。

点赞(0) 打赏

评论列表 共有 0 条评论

暂无评论
立即
投稿

微信公众账号

微信扫一扫加关注

发表
评论
返回
顶部