深入理解 Linux 内存映射 mmap：文件 I/O 与共享内存的终极方案

引言

在 Linux 系统编程中，mmap（memory map）是最强大也最容易被误解的系统调用之一。它允许程序将文件或设备映射到进程的虚拟地址空间，使得对内存的读写操作直接转化为对文件的 I/O 操作，无需显式调用 read/write。这种内存即文件（memory as file）的抽象，是 Unix 哲学的精髓体现。

本文将从 mmap 的系统调用接口出发，深入剖析其内核实现机制，涵盖页表管理、缺页中断、页面缓存（Page Cache）、内核同页合并（KSM）、多种映射类型（共享/私有、文件/匿名）的工程实践，最后探讨其在高性能 I/O、进程间共享内存、数据库存储引擎等场景中的典型应用。

一、mmap 系统调用接口

1.1 函数原型

#include <sys/mman.h>

void *mmap(void *addr, size_t length, int prot, int flags,
           int fd, offset_t offset);
int munmap(void *addr, size_t length);

参数说明：

• addr：建议起始地址，通常传 NULL 让内核自动选择。
• length：映射区域的字节长度（自动向上取整到页大小）。
• prot：内存保护标志 — PROT_READ、PROT_WRITE、PROT_EXEC、PROT_NONE。
• flags：映射类型 — MAP_SHARED、MAP_PRIVATE、MAP_ANONYMOUS 等。
• fd：被映射文件的文件描述符（匿名映射时设为 -1）。
• offset：文件偏移量，必须是页大小的整数倍。

1.2 基本使用示例

// 将文件只读映射到内存
int fd = open("data.bin", O_RDONLY);
struct stat sb;
fstat(fd, &sb);

void *mapped = mmap(NULL, sb.st_size, PROT_READ, MAP_PRIVATE, fd, 0);
if (mapped == MAP_FAILED) {
    perror("mmap");
    return -1;
}

// 直接通过指针访问文件内容
unsigned char *data = (unsigned char *)mapped;
printf("First byte: 0x%02x\n", data[0]);

munmap(mapped, sb.st_size);
close(fd);

1.3 mmap 的返回值与错误处理

mmap 成功时返回映射区域的起始指针，失败时返回 MAP_FAILED（即 (void *)-1）并设置 errno。常见错误码包括：

• ENOMEM：进程虚拟地址空间不足或映射数量超限（vm.max_map_count）。
• EACCES：文件打开模式与保护标志冲突（如以 O_RDONLY 打开却请求 PROT_WRITE）。
• EINVAL：参数非法（长度为零、偏移未对齐等）。
• EBADF：无效的文件描述符。

二、映射类型深度解析

2.1 MAP_SHARED 与 MAP_PRIVATE

这是 mmap 最核心的区别，决定了映射区域的修改如何可见：

• MAP_SHARED：写入映射区域的修改对其他 mmap 同一文件的进程可见，最终会回写到底层文件。这是实现共享内存和文件 I/O 的基础。
• MAP_PRIVATE：采用写时复制（Copy-on-Write, CoW）语义。写入时内核为修改的页面创建私有副本，对其他进程和底层文件不可见。fork 后子进程的内存页就是典型的私有映射。

// 共享映射：多进程通信
void *shared = mmap(NULL, 4096, PROT_READ | PROT_WRITE,
                    MAP_SHARED, fd, 0);
// 任何写入都会同步到文件，其他进程可见

// 私有映射：写时复制
void *private = mmap(NULL, 4096, PROT_READ | PROT_WRITE,
                     MAP_PRIVATE, fd, 0);
// 写入仅影响此进程的副本，不影响文件

2.2 MAP_ANONYMOUS 匿名映射

匿名映射不与任何文件关联，初始内容为零。常用于分配大块内存（类似 malloc 的大内存场景）：

// 匿名映射分配 64MB 内存
void *mem = mmap(NULL, 64 << 20, PROT_READ | PROT_WRITE,
                 MAP_PRIVATE | MAP_ANONYMOUS, -1, 0);
// 等价于: malloc(64MB)，但位于页对齐的大页区域

glibc 的 malloc 在分配大于 MMAP_THRESHOLD（默认 128KB）的内存时，内部就使用 MAP_ANONYMOUS 而非堆扩展。

2.3 MAP_FIXED 与 MAP_FIXED_NOREPLACE

MAP_FIXED 强制内核在指定地址创建映射（覆盖已有映射），MAP_FIXED_NOREPLACE 则仅在地址未被占用时成功。前者危险但用于加载器（ELF loader），后者更安全地用于预分配特定地址空间。

2.4 大页映射：MAP_HUGETLB 与 MAP_HUGE_2MB/1GB

普通页面大小为 4KB，大页（Huge Page）为 2MB 或 1GB。使用大页可减少 TLB miss 和页表层级遍历开销：

// 使用 2MB 大页映射 1GB 内存
void *huge = mmap(NULL, 1UL << 30, PROT_READ | PROT_WRITE,
                  MAP_PRIVATE | MAP_ANONYMOUS | MAP_HUGETLB | MAP_HUGE_2MB,
                  -1, 0);
// TLB 覆盖率提升 512 倍，对数据库、虚拟化、HPC 场景效果显著

三、内核实现机制

3.1 VMA（Virtual Memory Area）

Linux 内核用 vm_area_struct（简称 VMA）描述一段连续的虚拟地址区域。每次 mmap 调用都会在进程的 VMA 红黑树中创建一个节点。VMA 记录了：

• 起止虚拟地址
• 访问权限（VM_READ/VM_WRITE/VM_EXEC）
• 映射类型（VM_SHARED/VM_PRIVATE）
• 关联文件（若有，含 inode 和偏移信息）
• 操作函数表 vm_operations_struct

3.2 缺页中断（Page Fault）处理

mmap 系统调用本身只建立 VMA，不实际映射物理内存。当进程首次访问映射区域的某个页面时，触发缺页中断，内核的 Page Fault Handler 执行下列操作：

1. 合法性检查：确认地址落在某个 VMA 内，访问权限合法。若非法则发送 SIGSEGV（段错误）。
2. 文件后备映射（File-backed）：分配物理页面，从磁盘读取对应文件内容到该页面，建立页表映射。多个进程的 MAP_PRIVATE 页面初始共享同一物理页（CoW 候选）。
3. 匿名映射（Anonymous）：分配零页（zero page），所有新分配的匿名页面物理上共享同一个全零页，直到被写入时触发 CoW。

3.3 页面缓存（Page Cache）

文件映射的核心是 Linux 的 Page Cache 机制。文件内容以页为单位缓存在内存中。mmap 的读取操作直接命中 Page Cache，避免了用户态—内核态的数据拷贝；写入操作则标记页面为脏页（dirty page），由内核的 writeback 线程定期刷盘。

关键路径对比：

read() 方式：
  磁盘 → Page Cache → 用户态缓冲区（两次拷贝）

mmap() 方式：
  磁盘 → Page Cache（一次拷贝）
  用户态直接通过指针访问 Page Cache 内存

3.4 写时复制（Copy-on-Write）

对于 MAP_PRIVATE 映射，写入页面时内核触发 CoW 流程：

1. 发现写入的是共享的只读页面（或多个进程映射的文件页面）。
2. 分配新的物理页面，复制原页面内容。
3. 更新当前进程的页表，指向新分配的页面，标记为可写。
4. 恢复执行，此时写入操作在新副本上进行。

这就是 fork() 高效的原因——父子进程初始共享物理页，只在产生分歧时才分裂。

3.5 madvise 与预读优化

内核无法预知用户的访问模式，而 madvise 允许应用程序提供提示：

• MADV_SEQUENTIAL：顺序访问，内核会激进预读并提前回收页面。
• MADV_RANDOM：随机访问，禁用预读以提升效率。
• MADV_WILLNEED：预期即将访问，建议预读。
• MADV_DONTNEED：不再需要，建议释放物理页面。
• MADV_HUGEPAGE：建议使用大页。

// 告知内核即将顺序读取整个映射区域
madvise(mapped, file_size, MADV_SEQUENTIAL);
madvise(mapped, file_size, MADV_WILLNEED);

四、性能特征与陷阱

4.1 mmap vs read/write 性能对比

mmap 并非总是更快，其优势取决于工作负载：

• 随机访问大文件：mmap 优势显著，缺页中断 + 直接内存访问。
• 顺序读写大文件：read/write + readahead 可能更高效，因为 Page Fault 的上下文切换开销可能超过数据拷贝。
• 小文件（<4KB）：read/write 更快，mmap 有时间开销。
• 内存紧张时：mmap 的不可控性（内核自动换出）可能导致性能抖动。

4.2 SIGBUS 陷阱

如果映射文件被截断（truncate）或被其他进程缩短大小，访问超出当前文件末端的页面将触发 SIGBUS（总线错误）。正确处理方式包括：

• 使用文件锁（flock/fcntl）防止截断。
• 注册 SIGBUS 信号处理函数（从信号处理函数中恢复的难度极高）。
• 确保文件大小在映射前已经确定。

4.3 TLB Shootdown

多线程环境下，一个线程调用 munmap 或修改映射权限时，内核需通过 IPI（处理器间中断）通知所有 CPU 失效对应 TLB 条目，这称为 TLB Shootdown。频繁大范围 munmap 在多核系统上会造成严重的性能抖动。

4.4 内存过量提交（Overcommit）

Linux 默认允许 mmap 请求的物理内存超过实际可用空间（vm.overcommit_memory=0）。当系统内存耗尽时，OOM Killer 被唤醒杀死进程。对数据库等关键服务，应适当配置 vm.overcommit_memory=2 和 vm.overcommit_ratio。

五、工程实践与典型场景

5.1 进程间共享内存

mmap + MAP_SHARED 是实现高性能进程间通信（IPC）的首选方式，优于 System V 共享内存（shmget）：

// 进程 A：创建共享内存
int fd = shm_open("/my_shm", O_CREAT | O_RDWR, 0666);
ftruncate(fd, SIZE);
void *ptr = mmap(NULL, SIZE, PROT_READ | PROT_WRITE, MAP_SHARED, fd, 0);
strcpy((char *)ptr, "Hello from Process A");

// 进程 B：打开共享内存
int fd = shm_open("/my_shm", O_RDWR, 0666);
void *ptr = mmap(NULL, SIZE, PROT_READ | PROT_WRITE, MAP_SHARED, fd, 0);
printf("Received: %s\n", (char *)ptr);

5.2 零拷贝网络传输

sendfile 系统调用依赖 mmap 将文件映射到内核空间，然后直接将 Page Cache 数据推送到 socket buffer，避免用户态拷贝。在高并发网络服务器中，mmap 常被用于管理静态文件缓存。

5.3 数据库存储引擎

许多数据库（如 LMDB、SQLite 的 mmap 模式、ClickHouse）使用 mmap 直接管理数据存储文件：

• LMDB（Lightning Memory-Mapped Database）：完全基于 MAP_SHARED + MVCC 的 KV 数据库，读写 B+Tree 节点通过指针直接访问。
• Redis：通过 fork + CoW 实现 RDB 持久化。
• TiKV/RocksDB：使用 mmap 管理 WAL 日志和 SST 文件读取。

5.4 可执行文件加载（ELF Loader）

Linux 的 execve 内部通过 mmap 加载可执行文件。代码段以 MAP_PRIVATE | PROT_EXEC 映射，数据段以 MAP_PRIVATE | PROT_READ | PROT_WRITE 映射。ld.so 加载共享库（.so）时同样使用 mmap。动态链接器的共享库加载过程：

• 代码段以 MAP_PRIVATE | PROT_EXEC 映射，共享同一物理代码页。
• 数据段以 MAP_PRIVATE 映射，各自进程的 GOT 表通过 CoW 独立修改。

5.5 用户态文件系统（FUSE）

FUSE 的 writeback_cache 模式通过 mmap 将文件映射到用户态缓冲区，用户态文件系统实现直接写入内存即完成写操作。

六、内核同页合并（KSM）

KSM（Kernel Samepage Merging）是内核的一项内存去重功能，特别适用于虚拟化场景。其原理是：

1. 内核定期扫描进程的物理页面。
2. 发现内容相同的页面时，将多个虚拟页合并指向同一物理页（标记为 CoW）。
3. 当任一方写入时触发 CoW 拆分为独立副本。

通过 madvise(addr, len, MADV_MERGEABLE) 标记区域为 KSM 候选。在 KVM 虚拟化中，KSM 可节省 40%-60% 的内存占用。

七、新特性：userfaultfd

Linux 3.17 引入的 userfaultfd 允许用户态程序处理缺页中断。其流程为：

int fd = userfaultfd(O_CLOEXEC | O_NONBLOCK);
// 通过 ioctl 注册监控区域
ioctl(fd, UFFD_REGISTER, &range);

// 监控页面发生缺页时，内核向 fd 发送事件
// 用户态读取事件，填充页面内容后通知内核恢复执行

应用场景：虚拟机内存管理（QEMU 热迁移）、进程快照恢复、自定义分页逻辑。

八、最佳实践总结

1. 优先使用 mmap 处理随机大文件 I/O，顺序小文件使用 read/write。
2. 映射区域必须是页大小的整数倍，文件偏移同样需对齐。
3. 注意 SIGBUS 风险，确保映射期间文件不会被截断。
4. 大内存分配使用 MAP_ANONYMOUS，避免堆碎片和 malloc 开销。
5. 使用 madvise 为内核提供访问模式提示，提升预读和页面回收效率。
6. 多进程共享内存使用 MAP_SHARED + 文件后备，配合进程同步机制（如 futex）。
7. 谨慎使用 MAP_FIXED，除非明确知道目标地址空间状态。
8. 大数据场景启用大页（MAP_HUGETLB），减少 TLB miss 开销。
9. 虚拟化环境启用 MADV_MERGEABLE，利用 KSM 去重节省内存。
10. 使用 userfaultfd 实现定制化的缺页处理逻辑，如远程内存、检查点恢复。

结语

mmap 不仅仅是一个系统调用——它是连接虚拟内存、文件系统、进程间通信、高性能计算的枢纽。理解页表、缺页中断、Page Cache 和 CoW 的相互作用，才能在实际工程中做出正确的技术选型。从 C 库的大规模内存分配到数据库引擎的存储抽象，mmap 始终是 Linux 系统编程中最优雅的基础设施之一。