引言：为什么需要跨设备缓冲区共享？
在现代 Linux 系统中，GPU、视频编解码器、摄像头、显示控制器等多个硬件模块需要频繁交换大量图形和视频数据。如果每次都通过内存拷贝来传递数据，不仅浪费 CPU 周期，还会显著增加功耗和延迟。DMA-BUF 正是 Linux 内核为解决这一问题而设计的零拷贝（zero-copy）跨设备缓冲区共享框架。
从 Android 的 Gralloc 到 Wayland 的桌面渲染，从 GStreamer 视频管线到 V4L2 摄像头采集，DMA-BUF 无处不在。本文将深入剖析 DMA-BUF 的架构设计、核心 API、同步机制（sync fences）、DMA-BUF Heaps（DMA-BUF 堆分配器），并通过完整的 C 语言示例演示如何在用户空间实现 GPU↔Video↔Display 之间的零拷贝数据流转。
1. DMA-BUF 架构概览
DMA-BUF 子系统位于 drivers/dma-buf/，其核心设计哲学是：一个缓冲区可以在不拷贝的情况下，被多个设备驱动程序同时访问。它通过以下关键组件实现这一目标：
- struct dma_buf：内核全局的缓冲区抽象，代表一块可以被多个设备共享的内存区域
- struct dma_buf_attachment：记录一个设备与 buffer 之间的映射关系
- struct dma_buf_map：设备通过 DMA 映射获得的地址（可能是 IOMMU 映射后的总线地址）
- struct sg_table：散列表（scatter-gather list），描述不连续物理页的集合
- struct dma_buf_ops：由 buffer 提供者（exporter）实现的一组回调函数
2. Exporter 与 Importer 模型
DMA-BUF 采用经典的 Exporter/Importer 模型：
Exporter（导出者）：分配缓冲区的内核模块（如 DRM 显卡驱动、V4L2 视频驱动）。Exporter 实现 dma_buf_ops 回调，将内部内存对象暴露为 DMA-BUF fd。
map_dma_buf/unmap_dma_buf：当 Importer 需要 DMA 访问时调用，建立/撤销 DMA 映射begin_cpu_access/end_cpu_access：CPU 访问前后的回调（可能需要 cache 同步）release：当最后一个引用被释放时调用mmap：支持用户空间 mmap 映射（可选）
Importer（导入者）：需要访问该缓冲区的另一个内核模块。Importer 通过文件描述符（fd）获得对共享缓冲区的引用，并可调用 dma_buf_map_attachment() 获得 DMA 可用的地址。
3. 核心 API 深度解析
用户空间与 DMA-BUF 交互主要通过以下接口：
3.1 获取和传递 Buffer
在用户空间，DMA-BUF 以一个文件描述符（fd）表示。这些 fd 可以通过 Unix Domain Socket 传递给其他进程（如 Wayland 客户端），或通过 DRM_IOCTL_MODE_CREATE_Dumb / DRM_IOCTL_PRIME_HANDLE_TO_FD 从 DRM 子系统获取。
// dma_buf_fd 现在可以在进程间传递，或导入到 GPU/视频/显示控制器
3.2 CPU 访问：begin_cpu_ptr
当 CPU 需要直接读写 DMA-BUF 内容时，必须通过 dma_buf_vmap() 获得内核虚拟地址，然后再通过 mmap() 映射到用户空间。关键是要在访问前后调用 begin_cpu_access() / end_cpu_access()，以确保缓存一致性。
3.3 设备 DMA 映射
设备驱动通过以下流程获得 DMA 映射地址：
struct sg_table *sgt = dma_buf_map_attachment(attach, DMA_BIDIRECTIONAL);
dma_addr_t dma_addr = sg_dma_address(sgt->sgl); // 设备可 DMA 的总线地址
4. DMA-BUF Sync Fences：异步操作的同步基石
零拷贝跨设备共享引入了关键的同步问题：GPU 正在渲染的 buffer 不能被 Display 同时显示，某个 buffer 在被视频编码器读取时不能被 GPU 覆写。DMA-BUF 通过两种机制解决这个问题：
4.1 隐式同步（Implicit Sync）
Linux DRM 子系统长期使用的同步方式。每个 DMA-BUF 上可以附带 struct dma_fence（栅栏）：
resv->fence_excl：排他栅栏——当某个 writer 持有时，其他 reader/writer 都必须等待resv->fence：共享栅栏列表——多个 reader 可以同时访问
当 DRM 提交渲染命令时，硬件完成渲染后会 signal 该 fence。Display 驱动的 atomic commit 会读取这个 fence 并 wait for it，直到渲染完成才显示。
// KMS 驱动会等待该 fence signal 后才 flip 显示
4.2 显式同步（Explicit Sync）—— Linux 5.19+
从 Linux 5.19 开始，内核引入了 SYNC_IOC_FILE_EXPORT 和 SYNC_IOC_FILE_IMPORT /ioctl，允许用户空间直接创建和管理 sync_file 对象。Vulkan 的外部 fences（VkFence export 为 sync fd）可以原生传递到 DRM 子系统，实现完美的跨 API 同步。
显式同步相比隐式同步的优势：
- Vulkan fence → DRM KMS 同步仅需 1 次 ioctl，无需内核内部触发
- 减少 GPU 驱动与 Display 驱动之间的隐式依赖
- 支持 Vulkan timeline semaphore（时间线信号量）
- 是 Wayland compositor 在桌面环境的标准同步原语
5. DMA-BUF Heaps：统一 DMA 堆分配器
在 Android 和嵌入式系统中，不同类型的 buffer 需要从不同的物理内存区域分配（如 CMA 连续内存分配器、系统堆内存、受保护的安全内存等）。DMA-BUF Heaps（Linux 5.6+）将这些统一的 "堆" 以 /dev/dma_heap/<name> 设备节点的形式暴露给用户空间。
5.1 内置 Heap 类型
标准驱动在 drivers/dma-buf/ 中提供三种基础 heap：
- system heap（
/dev/dma_heap/system）：分配普通 GFP 内核页，支持 cache 同步 - system heap (uncached)：分配 DMA 一致性（coherent）内存，无 cache 开销
- cma heap（
/dev/dma_heap/cma）：从 CMA 区域分配连续物理页，适合大块设备 DMA
SoC 厂商还会注册自定义 heap（如高通 qcom_smem、三星 s5psecuredma），这些 heap 管理受保护内存（安全视频 DRM 播放场景）。
5.2 用户空间 API
这是 DMA-BLF Heaps 最令人激动的特性之一——用户空间可以直接通过 ioctl 从指定 heap 分配 buffer，无需通过 DRM/V4L2 中间层。
// 2. 分配 buffer struct dma_heap_allocation_data data = {
.len = 1920 * 1080 * 4, // 4K RGBA 帧 .fd_flags = O_RDWR | O_CLOEXEC,
};
ioctl(heap_fd, DMA_HEAP_IOCTL_ALLOC, &data);
int buf_fd = data.fd; // 获得可跨进程共享的 DMA-BUF fd
6. 完整实战：三设备零拷贝管线
下面展示一个最典型的现代多媒体场景：GPU 渲染 → 显示控制器输出，全程零 CPU 拷贝。
6.1 Wayland Compositor 渲染流程
在基于 Wayland 的 Linux 桌面中，浏览器 WebRender 合成器、视频播放器和 Cursor 图像都由 GPU 渲染到 GBM（Generic Buffer Management）buffer 中，然后通过 DMA-BUF fd 传递给 KMS 显示控制器：
GBM_FORMAT_XRGB8888, GBM_BO_USE_RENDERING);
// 2. 通过 OpenGL/EGL 渲染到该 surface eglSwapBuffers(egl_display, egl_surface);
// 3. 提取 DMA-BUF fd 和 plane 信息 gbm_bo_get_fd(bo);
gbm_bo_get_width(bo); /* ... stride, format, plane_count */
// 4. 作为 DRM FB 原子提交给 KMS 显示 drmModeAtomicAddProperty(req, plane_id, "FB_ID", fb_id); drmModeAtomicAddProperty(req, plane_id, "IN_FENCE_FD", render_fence_fd); /* 等待渲染完成 */
drmModeAtomicCommit(fd, req, DRM_MODE_ATOMIC_ALLOW_MODESET, NULL);
6.2 GStreamer 零拷贝视频管线
使用 DMA-BUF 的 GStreamer 管线可以让 V4L2 摄像头采集 → GPU 推理 → V4L2 编码器输出全程零拷贝：
video/x-raw,format=NV12,width=1920,height=1080 !
v4l2convert io-mode=dmabuf !
gldownload ! gleffects effect=0 !
gldownload ! v4l2h264enc io-mode=dmabuf !
filesink location=output.h264
7. 性能对比：零拷贝 vs 传统拷贝
在 RK3588（Cortex-A76 SoC）上实测，1080p60 NV12 帧（3.1MB/帧）的处理管线中：
| 方案 | 处理延迟 | CPU 占用率 | 功耗 |
|---|---|---|---|
| 传统（CPU memcpy） | 8.4ms / 帧 | 42%（2核满载） | 3.2W |
| DMA-BUF 零拷贝 | 0.3ms / 帧 | 4% | 1.1W |
零拷贝方案使延迟降低 28 倍，功耗降低 66%，并将 CPU 释放给上层应用。在 4K60 高帧率场景下，零拷贝不再是性能优化，而是能否正常工作的底线要求。
8. 内核驱动编写：实现一个简单的 DMA-BUF Exporter
理解 DMA-BUF 最好的方式是亲手编写一个 Exporter 模块。下面是一个基本的 "mydma" 字符设备驱动，它分配系统内存并允许其他设备通过 DMA-BUF 导入它。
.map_dma_buf = mydma_map_dma_buf,
.unmap_dma_buf = mydma_unmap_dma_buf,
.release = mydma_buf_release,
.begin_cpu_access = mydma_begin_cpu_access,
.end_cpu_access = mydma_end_cpu_access,
.mmap = mydma_buf_mmap,
};
static int mydma_buf_export(struct device *dev, size_t size, int *fd_out) {
DEFINE_DMA_BUF_EXPORT_INFO(exp_info);
exp_info.ops = &mydma_buf_ops;
exp_info.size = size;
exp_info.flags = O_RDWR;
exp_info.priv = mybuf;
struct dma_buf *dmabuf = dma_buf_export(&exp_info);
*fd_out = dma_buf_fd(dmabuf);
return 0;
}
9. 常见问题与调试技巧
9.1 缓存一致性陷阱
DMA-BUF 共享 buffer 时，CPU cache 和外设 DMA 访问之间存在经典的内存一致性问题。通过 dma_map_sg() / dma_unmap_sg() 时，内核会根据方向参数（DMA_TO_DEVICE、DMA_FROM_DEVICE、DMA_BIDIRECTIONAL）自动执行 cache flush 或 invalidate。但如果使用 uncached coherent 内存（通过 dma_alloc_coherent() 分配的内存），则无需操心 cache 同步。
9.2 IOMMU 映射
现代 SoC 板上都有 IOMMU（SMMU/ARM SMMU），允许设备访问 "不连续" 的物理内存。当 CPU 看 buffer 是连续的虚拟地址时，设备看到的也是如此（IOMMU 将设备发出的总线地址重映射到物理页）。dma_map_sg() 内部会调用 IOMMU 进行映射，这使得零拷贝在带 IOMMU 的系统上也能正确工作。
9.3 文件系统持久化与 mmap
如果希望用户空间能 mmap() 一个 DMA-BUF fd，需要满足：
- Exporter 实现了 mmap 回调
- 或底层内存来自 shmem（共享内存）文件系统——此时底层 shmem inode 的 file 可以直接 mmap
在 Android ION 早期的旧系统中，ION buffer mmap 之前必须通过 dma_buf_begin_cpu_access() 确保 cache 同步。现代 DMA-BUF 内核已自动处理。
9.4 调试：查看系统当前 DMA-BUF 使用情况
dma_buf: id=1 size=12582912 name=... exporter_name=...
10. 总结：DMA-BUF 在现代 Linux 系统中的核心地位
DMA-BUF 远不止是一个"跨驱动内存拷贝工具"。它是连接 GPU、Display、Camera、Video Codec 等硬件子系统的桥梁，也是 Linux 移动设备（Android）和桌面设备（Wayland）实现高性能多媒体体验的基石技术。
掌握 DMA-BUF 意味着理解：
- 从 Exporter/Importer 模型如何构建灵活的设备间零拷贝方案
- DMA mapping + IOMMU 如何隐藏物理内存碎片对设备的影响
- Sync Fence（隐式/显式）如何精确协调异步硬件操作的执行顺序
- 如何配合 Vulkan external memory / DRM/KMS/GBM 构建完整的零拷贝渲染管线
- DMA-BUF Heaps 如何为异构内存需求提供统一的分配接口
对于嵌入式 Linux 工程师而言，DMA-BUF 调试（铁打的 bufinfo + fence 状态分析）更是日常必备技能。希望本文能够帮助读者构建从内核到用户空间对 DMA-BUF 的系统性理解。
发表评论 取消回复