Linux 内核内存管理深度实战：从伙伴系统到 SLUB 的完全工程指南

六、内存回收与 kswapd

6.1 页面回收算法

Linux 采用 LRU（Least Recently Used）双链表算法回收页面，分为：

• active list：活跃页面链表（最近被访问过）
• inactive list：非活跃页面链表（Candidate for eviction）

页面首次加入 inactive，第二次访问时晋升到 active。当 active 链表尾部页面长时间未再访问，被降级到 inactive 尾部，最终被回收。

6.2 页面类型与回收代价

6.3 kswapd 守护进程

每个 NUMA 节点都有一个 kswapd 内核线程，周期性检查 vm_zone->_watermark：

// mm/vmscan.c
static int kswapd(void *p) {
    pg_data_t *pgdat = (pg_data_t*)p;
    
    while (!kthread_should_stop()) {
        // 1. 平衡区域水位（异步轻量扫描）
        balance_pgdat(pgdat, order, highest_zoneidx);
        
        // 2. 检查是否需要回收
        if (pgdat_balanced(pgdat, order, highest_zoneidx)) {
            wait_event_interruptible(pgdat->kswapd_wait,
                kswapd_should_run(pgdat));
            continue;
        }
        
        // 3. 执行直接回收或唤醒等待者
        pgdat_balanced(pgdat, order, highest_zoneidx);
    }
}

6.4 直接回收（Direct Reclaim）

当水位低于 min 且异步回收来不及，分配进程本身被卷入回收流程——这会导致严重的延迟。生产系统中常见 "kswapd0" 或分配进程进入 D 状态（Uninterruptible sleep）：

// 诊断直接回收延迟
$ cat /proc/vmstat | grep allocstall
allocstall_dma 0
allocstall_dma32 12
allocstall_normal 89    ← 直接回收发生次数
allocstall_movable 156

七、OOM Killer

7.1 OOM 触发条件

当系统内存耗尽且所有回收手段均无法获取可用页面时，触发 OOM（Out of Memory）：

1. 所有 zone 低于 min 水位
2. kswapd 无法回收足够页面
3. 直接回收仍无法满足分配请求
4. 调用 out_of_memory() 选择牺牲进程

7.2 oom_badness 评分算法

内核根据 oom_badness() 函数计算每个进程的"坏分值"，分数越高越容易被 kill：

// mm/oom_kill.c
unsigned long oom_badness(struct task_struct *p, unsigned long totalpages) {
    // 1. 计算内存占用（RSS + swap + page_table + socket buffer）
    points = get_mm_rss(mm) + get_mm_counter(mm, MM_SWAPENTS)
           + mm_pages(mm);  // page tables pages
    
    // 2. 调整系数：CPU 时间开根号（长时间运行进程权重略降）
    adj = (long)p->signal->oom_score_adj * totalpages / 1000;
    points += adj;
    
    // 3. OOM_DISABLE 进程不参与评选
    if (p->signal->oom_score_adj == OOM_SCORE_ADJ_MIN)
        return 0;
    
    return points;
}

7.3 保护关键进程

// 保护进程不被 OOM kill（-1000 表示永久豁免）
echo -1000 > /proc/[pid]/oom_score_adj

// 降低某进程的优先级（更容易被牺牲）
echo 500 > /proc/[pid]/oom_score_adj

// systemd 方式：
[Service]
OOMPolicy=continue
OOMScoreAdjust=-500

八、内存 cgroup（memcg）

8.1 核心概念

内存 cgroup 实现容器级别的内存隔离与限制，关键参数：

• memory.limit_in_bytes：硬限制（超过立即触发 OOM）
• memory.soft_limit_in_bytes：软限制（全局内存充裕时允许超额）
• memory.swappiness：单独控制 swap 倾向（0=禁用 swap）
• memory.kmem.limit_in_bytes：内核内存限制（控制 slab、network buffer）

8.2 容器内存调优实战

// Docker 限制 1GB 内存
docker run --memory=1g --memory-swap=2g myapp

// Kubernetes 配置
resources:
  requests:
    memory: "512Mi"
  limits:
    memory: "1Gi"

// 诊断容器 OOM
dmesg | grep -i oom
# [189345.234] Memory cgroup out of memory: Killed process 12345 (java) total-vm:2097152kB, anon-rss:1048576kB

九、性能调优与生产实践

9.1 swappiness 调优

内核参数 vm.swappiness（默认 60）控制 swap 倾向：

• 数据库推荐 1-10：优先回收 file cache，避免匿名页面被换出
• 桌面系统 60：默认值，平衡 swap 与 cache
• HPC/实时系统 0：禁用 swap（除非使用 zram）

# 数据库服务器优化
vm.swappiness = 1
vm.dirty_ratio = 15
vm.dirty_background_ratio = 5
vm.dirty_expire_centisecs = 500
vm.dirty_writeback_centisecs = 100

9.2 碎片整理（Memory Compaction）

针对大型块的连续物理内存碎片问题，Linux 提供两种机制：

• 主动整理（/proc/sys/vm/compact_memory）：重启时合并可迁移页
• Proactive Compaction（Linux 5.9+）：kcompactd 线程周期性触发
• THP Compact Defrag：尝试为透明大页分配聚合碎片

// 查看碎片指数
$ cat /sys/kernel/debug/extfrag/extfrag_index

// 手动触发全局整理
echo 1 > /proc/sys/vm/compact_memory

// /proc/buddyinfo 观察连续内存块
cat /proc/buddyinfo
Node 0, zone  Normal    116    201   34   23    8    2    1    1    0    0    0

9.3 Zswap / Zram 压缩交换

对于内存受限场景，压缩 swap 比直接 swap 到磁盘更高效：

// Zswap：在内存中压缩缓存，必要时才写磁盘
echo 1 > /sys/module/zswap/enabled
echo zstd > /sys/module/zswap/compressor

// Zram：内存中的压缩块设备（推荐嵌入式）
modprobe zram num_devices=1
echo zstd > /sys/block/zram0/comp_algorithm
echo 2G > /sys/block/zram0/disksize
mkswap /dev/zram0
swapon /dev/zram0

9.4 内存热插拔

Linux 支持物理内存的在线添加/移除：

// 添加内存
echo online > /sys/devices/system/memory/memory42/state

// 离线内存
echo offline > /sys/devices/system/memory/memory42/state

// 迁移页面关键逻辑
// 1. 隔离页面（block page allocation on this block）
// 2. 迁移页面到目标节点
// 3. 移除该 block 的 struct page array

十、调试与诊断工具

10.1 vm_stat 与 /proc/meminfo

$ cat /proc/meminfo
MemTotal:       65765244 kB
MemFree:        12453232 kB
MemAvailable:   48291508 kB
Buffers:         1234567 kB
Cached:         34567890 kB
SwapTotal:       8388608 kB
SwapFree:        8123456 kB
HugePages_Total:     0
Hugepagesize:       2048 kB
DirectMap4k:    12345678 kB
DirectMap2M:    52428800 kB
Slab:            34567890 kB
SReclaimable:    2345678 kB
SUnreclaim:      1111111 kB

10.2 perf 内存分析

// 跟踪 kmalloc/kfree 调用栈
perf record -e kmem:kmalloc -e kmem:kfree -g -- your_app
perf report --sort=comm,dso,symbol

// 分析 TLB miss
perf stat -e dTLB-load-misses,iTLB-load-misses,page-faults ./app

// 使用 BPF 分析页面分配延迟
bpftrace -e 'kprobe:__alloc_pages_nodemask { @start[tid] = nsecs; }
             kretprobe:__alloc_pages_nodemask /@start[tid]/ {
               @lat_us = hist((nsecs - @start[tid]) / 1000);
               delete(@start[tid]);
             }'

10.3 Page Owner 追踪

// 编译时开启 CONFIG_PAGE_OWNER
echo 1 > /sys/kernel/debug/page_owner/on

// 查看每个页面的分配调用栈
cat /sys/kernel/debug/page_owner/sorted_pages

// 使用工具分析
./page_owner_sort page_owner.txt

十一、内核内存操作 API 总结

十二、总结

Linux 内核内存管理系统是一个经过 30+ 年演进的精密系统。理解它的关键在于：

1. 物理层：伙伴系统管理物理页，MIGRATE_TYPES 减少碎片
2. 缓存层：SLUB 为频繁分配的小对象提供 O(1) 性能
3. 虚拟层：四级/五级页表映射虚拟→现代，TLB/PCID 加速访问
4. 回收层：LRU 双链表 + kswapd 守护进程，水位线驱动回收
5. 容器层：memcg 实现隔离与限制，保障多租户环境稳定性

生产系统中，内存调优的核心是观察 /proc/vmstat、perf TLB miss 指标、以及 dmesg 中的 OOM 日志，逐步调整 swappiness、dirty ratio、hugepage 配置。配合 eBPF 的 memleak 工具，可以长期追踪内存泄漏问题，构建健康的系统内存管理实践。

本文基于 Linux 6.6.x 内核源码分析，主要参考 mm/page_alloc.c、mm/slub.c、mm/vmscan.c、mm/vmalloc.c 等核心文件。