Linux 内核 DMA-BUF 同步机制深度实战：从 dma-fence 到多驱动零拷贝流媒体管线

在现代 Linux 图形与多媒体栈中，GPU 渲染、视频编解码、显示控制器和 NPU 之间的数据流转必须高效且无拷贝。DRM/KMS、V4L2、DRM 渲染节点、DMA-BUF Heaps 等子系统共享同一块物理内存时，如果缺乏一套通用的同步原语，就会陷入"驱动 A 写完驱动 B 才能读"的协调困境。Linux 内核从 4.x 时代逐步演进出的 dma-fence 体系正是解决这一问题的核心基础设施。

本文将从同步语义出发，深入剖析 dma-fence、sync_file、dma-resv 三大核心抽象的实现原理，并通过一个完整的零拷贝流媒体 pipeline 示例（Camera → GPU → Display），演示如何在真实的异构多驱动场景中构建正确且高性能的同步方案。

一、为什么需要内核级跨驱动同步？

1.1 典型的生产者-消费者 pipeline

在 Android 的 Camera HAL3 + Codec 架构和 Linux 的 PipeWire 桌面录制场景中，数据流通常如下：

 Camera (V4L2 Output) 
   ─── dma-buf fd ──→  GPU 渲染/合成 (DRM)
                          ─── dma-buf fd ──→  显示控制器 (KMS)

每个节点都由不同内核驱动管辖：uvcvideo、vc4-drm/amdgpu、mali、v3d。如果用户态靠 read()/poll() 轮询或 madvise() 提示来协调，延迟将达到毫秒级，且容易产生撕裂或数据竞态。

1.2 核心需求抽象

• 隐式同步（Implicit Sync）：缓冲区自带"可读/可写"语义，各驱动在 queue 操作时自动读写 fence
• 显式同步（Explicit Sync）：用户态精确控制每份 buffer 的 acquire/release 时机（如 Vulkan 的 VkSemaphore 导入导出）
• 零拷贝保证：整个过程只传递文件描述符，物理页不迁移、不复制

Linux 内核 5.15+ 已全面支持显式同步，并在 Mesa 3D、Wayland、Android Composer 中落地。

二、核心抽象：dma-fence、sync_file、dma-resv

2.1 dma-fence —— 单个操作的完成信号

struct dma_fence 定义在 linux/dma-fence.h，是最基本的"操作已完成"抽象。关键设计要点：

• 每个 fence 绑定时钟上下文 context（通常是驱动的全局原子计数器）与单调递增序号 seqno
• 多个等待者通过链表挂在 fence->cb_list，signaled 时统一回调
• 支持 DMA_FENCE_FLAG_ENABLE_BIT 延迟注册中断，避免空闲时的中断风暴
• 提供 dma_fence_wait_any() API 用于"任一就绪"的流控场景

驱动在提交 GPU 或编码器工作队列时插入 fence。

2.2 sync_file —— 用户态可见的 fence 容器

struct sync_file 是内核 sync_file_create() 返回的包装对象，包含一个或多个 fence，通过文件描述符暴露给用户态。

用户态通过 ioctl(fd, SYNC_IOC_MERGE, andamp; merge_data) 合并多个 sync_file，用于 GPU 产出 + 编码器产出的多源同步。

2.3 dma-resv（Reservation Object）—— 缓冲区的读写状态机

对于一块被多个驱动共享的 dma_buf，struct dma_resv 维护当前的独占写 fence（excl fence）和共享读 fence列表（shared array）。

使用模式：只读操作（如显示控制器扫描）通过 dma_resv_lock() 添加到 fence_shared[]，独占写操作（如 GPU 渲染）通过 dma_resv_lock() 替换 fence_excl。

驱动通过 dma_resv_add_fence() 注册新完成的 fence，并通过 dma_resv_test_signaled() 检测可读性。

三、用户态显式同步 API 实战

3.1 创建与销毁 sync_file

#include <linux/sync_file.h>
#include <linux/dma-buf.h>

int create_sync_file_for_fence(struct dma_fence *fence)
{
    struct sync_file *sf = sync_file_create(fence);
    if (!sf)
        return -ENOMEM;
    return get_unused_fd_flags(O_CLOEXEC);
}

3.2 导出/导入同步对象

在驱动侧，queue 完成后可以通过 ioctl 将 fence 导出为 sync_file fd，对应用户态即可获取该 fd 并传递给下游驱动。

四、零拷贝流媒体 pipeline 完整实现

以下示例展示 Camera → GPU → Display 三阶段同步方案，基于 V4L2 + DRM（vc4）on Raspberry Pi：

4.1 Camera 端（V4L2 output + DMA-BUF）

#include <linux/videodev2.h>
#include <linux/dma-buf.h>

struct buffer_plane {
    int dbuf_fd;
    void *vaddr;
    size_t size;
};

int camera_export_buf(struct buffer_plane *buf, int v4l2_dev_fd)
{
    struct v4l2_exportbuffer exp = {0};
    exp.type = V4L2_BUF_TYPE_VIDEO_CAPTURE_MPLANE;
    exp.index = 0;
    exp.plane = 0;
    exp.flags = O_CLOEXEC | O_RDWR;
    exp.fd = -1;

    if (ioctl(v4l2_dev_fd, VIDIOC_EXPBUF, andamp; exp) < 0) {
        perror("VIDIOC_EXPBUF");
        return -1;
    }
    buf->dbuf_fd = exp.fd;
    return 0;
}

关键：V4L2 必须启用 V4L2_CAP_DMABUF 能力，且缓冲区的 memory mode 为 V4L2_MEMORY_DMABUF。

4.2 GPU 端（EGLImage + GL_OES_EGL_image_external）

#include <EGL/egl.h>
#include <EGL/eglext.h>
#include <GLES3/gl3.h>

EGLImageKHR create_egl_image_from_dmabuf(EGLDisplay dpy,
                                         int dmabuf_fd,
                                         uint32_t width,
                                         uint32_t height)
{
    EGLint attribs[] = {
        EGL_WIDTH,                      width,
        EGL_HEIGHT,                     height,
        EGL_LINUX_DRM_FOURCC_EXT,       DRM_FORMAT_XRGB8888,
        EGL_DMA_BUF_PLANE0_FD_EXT,      dmabuf_fd,
        EGL_DMA_BUF_PLANE0_OFFSET_EXT,  0,
        EGL_DMA_BUF_PLANE0_PITCH_EXT,   width * 4,
        EGL_NONE
    };
    return eglCreateImageKHR(dpy, EGL_NO_CONTEXT,
        EGL_LINUX_DMA_BUF_EXT, NULL, attribs);
}

void render_frame(EGLDisplay dpy, int camera_acquire_fence_fd)
{
    EGLint fence_attrib[] = { EGL_SYNC_NATIVE_FENCE_FD_ANDROID, 
                              camera_acquire_fence_fd, EGL_NONE };
    EGLSyncKHR sync = eglCreateSyncKHR(dpy, 
        EGL_SYNC_NATIVE_FENCE_ANDROID, fence_attrib);
    eglWaitSyncKHR(sync, 0);

    glDrawArrays(GL_TRIANGLE_STRIP, 0, 4);
    glFlush();

    EGLSyncKHR gpu_fence = eglCreateSyncKHR(dpy,
        EGL_SYNC_NATIVE_FENCE_ANDROID, NULL);
    int gpu_fd = eglDupNativeFenceFDANDROID(dpy, gpu_fence);
}

4.3 Display 端（DRM KMS page-flip + sync_file）

#include <xf86drm.h>
#include <xf86drmMode.h>

int page_flip_with_fence(int drm_fd, uint32_t crtc_id,
                         uint32_t fb_id, int gpu_acquire_fence_fd)
{
    if (gpu_acquire_fence_fd >= 0) {
        uint32_t syncobj_handle;
        struct drm_syncobj_fd_to_handle fd2h = {
            .fd = gpu_acquire_fence_fd,
            .flags = 0,
            .handle = 0
        };
        drmIoctl(drm_fd, DRM_IOCTL_SYNCOBJ_FD_TO_HANDLE, andamp; fd2h);
    }
    return drmModePageFlip(drm_fd, crtc_id, fb_id, flags, NULL);
}

五、内核态自定义 dma-fence 驱动编写

为了让 V4L2 子设备（如自定义 ISP）自动参与同步，需要实现 dma_fence_ops 并注册 fence。核心步骤包括：实现 enable_signaling、wait、get_driver_name、get_timeline_name 回调函数，在 ISP 帧完成 IRQ handler 中调用 dma_fence_signal() 通知所有等待者，并配合 wake_up_all() 唤醒等待队列中的用户态 poll。

六、调试与性能分析

6.1 ftrace 跟踪 fence 信号链

echo 1 > /sys/kernel/debug/tracing/events/dma_fence/enable
cat /sys/kernel/debug/tracing/trace_pipe

6.2 debugfs 查看未释放 fence

cat /sys/kernel/debug/dma_fence/all-fences

6.3 性能优化策略

五条核心优化：

1. 利用 dma_fence_enable_signaling 延迟注册中断，空闲时零开销
2. 合并相邻 fence（SYNC_IOC_MERGE）减少 ioctl 次数
3. 使用 DMA_BUF_IOCTL_EXPORT_SYNC_FILE 缓存已完成的 fence
4. 合理设置 dma_fence_default_wait 的 timeout，避免阻塞关键线程
5. DRM 驱动启用 FENCE_BUNDLE 批提交，减少 GPU 队列命令数量

6.4 常见陷阱

• 页面撕裂（tearing）：显示扫描时写入未完成 —— 确保 GPU write 有 acquire fence 注入
• fence 泄漏 OOM：用户态重复 dup fd 未 close —— 每次 export sync_file 后 close(fd)
• 死锁（ABBA fence 依赖）：循环依赖 —— 使用全局 timeline 顺序 + timeout 检测 fallback
• VIDIOC_EXPBUF 返回 EINVAL：缓冲区类型不支持 DMABUF —— 改用 reqbufs + MMAP 方案

七、新版本内核演进（6.x+）

7.1 DRM SyncObj

Linux 6.8+ 引入 DRM_SYNCOBJ，用户态直接操作 uint32_t handle 而非 fd，减少 fd 管理开销。

7.2 DMA-BUF Heaps

Linux 6.0+ 合入 DMA-BUF Heaps，提供系统级别的 dma-buf 分配接口（system、cma），逐步取代各驱动私有的 gem_prime_export。

7.3 Syncobj Timeline

支持 uint64_t point 值比较的 timeline fence，使 GPU 与多驱动间的同步点可以直接对应到 Vulkan VkSemaphore，避免用户态映射转换。

八、方案对比与总结

dma-fence 体系成功的核心在于"将同步语义从驱动内部提升到系统级"，让 GPU、V4L2、DRM、异构加速器代码之间有了通用"语言"。理解这套机制，是构建高性能 Linux 多媒体栈的关键一步。

推荐阅读

• Linux 内核源码：drivers/dma-buf/、drivers/gpu/drm/
• Paul Kocialkowski 的 "Explicit Sync in Linux Graphics" 主题演讲
• AOSP frameworks/native/libs/graphicbuffer 的 SyncGen 实现
• Daniel Vetter 的 "Linux Kernel Sync Objects" LWN.net 文章系列