Linux 内核进程调度器深度实战：从 CFS 到实时调度的全栈调优指南

引言

进程调度是操作系统内核最核心的组件之一。它决定了 CPU 时间如何分配给竞争中的进程，直接影响系统的吞吐量和响应时间。从早期的 O(n) 调度器到今天的完全公平调度器（CFS），Linux 内核调度器经历了多次重大演进，已成为支撑从嵌入式设备到超算集群的关键基础设施。

本文将深入剖析 Linux 调度器的内部机制，涵盖 CFS 核心数据结构、实时调度类、SCHED_DEADLINE 截止调度、cgroup CPU 控制器、NUMA 感知调度，以及生产环境中的延迟调优实战经验。

1. CFS 调度器核心原理

1.1 vruntime 与虚拟运行时间

CFS 的核心思想是维护每个进程的"虚拟运行时间"（virtual runtime）。vruntime 的计算公式为：

vruntime += (实际运行时间) * (NICE_0_LOAD / 当前进程权重)

其中 NICE_0_LOAD 是 nice 值为 0 时的基准权重（通常 1024）。权重越高的进程，vruntime 增长越慢，因此获得更多 CPU 时间。nice 值每降低 1 级（优先级提高），获得约 10% 更多 CPU 时间。

1.2 红黑树选择算法

CFS 使用红黑树（rbtree）组织所有可运行进程，以 vruntime 为排序键。调度器总是选择最左侧节点（vruntime 最小的进程），保证 O(log n) 的最坏时间复杂度。由于红黑树自平衡特性，即使面对数千个并发进程，调度开销依然平稳可控。

1.3 调度粒度与公平性权衡

关键参数 sysctl_sched_latency 默认控制目标调度延迟（通常 6ms），即每个可运行进程至少保证在这个周期内获得一次执行机会。当可运行进程数超过 sched_latency / sysctl_sched_min_granularity 时，调度粒度会被放大，避免因频繁切换导致的缓存失效。

// 调整调度延迟精度
sysctl -w kernel.sched_latency_ns=12000000    # 12ms
sysctl -w kernel.sched_min_granularity_ns=1500000  # 1.5ms
sysctl -w kernel.sched_wakeup_granularity_ns=2000000  # 2ms（抢占阈值）

2. 调度类与优先级层次

Linux 调度器采用调度类（sched_class）的链式架构，按优先级从高到低依次处理：

stop_sched_class      # 停机调度类（最高优先级，CPU 热插拔）
dl_sched_class        # 截止时间调度类（SCHED_DEADLINE）
rt_sched_class        # 实时调度类（SCHED_FIFO / SCHED_RR）
fair_sched_class      # 公平调度类（SCHED_NORMAL / SCHED_BATCH / SCHED_IDLE）
idle_sched_class      # 空闲调度类（最低优先级）

每个调度类的 pick_next_task 方法按链表顺序尝试选取进程，高优先级类返回非空则直接命中，不再继续查询低优先级类。这种设计满足 O(1) 的最坏时间复杂度保证。

2.1 SCHED_FIFO 与 SCHED_RR

两者均为 POSIX 实时调度策略，优先级范围 1-99（数字越大优先级越高）。

• SCHED_FIFO：先进先出，进程主动让出 CPU 或被更高优先级抢占才会停止运行。无时间片限制，可能导致饿死。
• SCHED_RR：轮转策略，同优先级进程按时间片轮转调度，时间片耗尽后排到同优先级队列末尾。

// 设置进程实时优先级
struct sched_param param = { .sched_priority = 50 };
sched_setscheduler(0, SCHED_FIFO, ¶m);

// 或使用 chrt 命令行
chrt -f -p 50 $$        # 设置当前 shell 为 SCHED_FIFO 优先级 50
chrt -r -p 30      # 设置为 SCHED_RR 优先级 30

2.2 SCHED_DEADLINE 截止调度

Linux 3.14+ 引入的 SCHED_DEADLINE 利用 GEDF（Global Earliest Deadline First）算法，提供硬实时保证。每个任务声明三个参数：

• runtime (Q)：每个周期内允许运行的时间
• deadline (D)：任务必须在这个时间内完成
• period (P)：任务触发的周期间隔

约束条件：runtime ≤ deadline ≤ period。调度器通过可调度性测试（schedulability test）确保所有任务满足 Σ(Qi/Pi) ≤ (n-1)/(m-1) + 1（多核放宽）。

// 设置 SCHED_DEADLINE 调度策略
struct sched_attr attr = {
    .size = sizeof(attr),
    .sched_policy = SCHED_DEADLINE,
    .sched_runtime  =  10 * 1000 * 1000,  // 10ms
    .sched_deadline =  20 * 1000 * 1000,  // 20ms
    .sched_period   =  50 * 1000 * 1000,  // 50ms
};
sched_setattr(0, &attr, 0);

3. cgroup v2 CPU 控制器实战

cgroup v2 的 CPU 控制器通过权重与限额双维度管理资源分配：

// 设置 CPU 权重（替代 shares），范围 1-10000
echo "cpu.weight: 500" > /sys/fs/cgroup/mygroup/cpu.weight

// 设置 CPU 硬限额：每 period 内最多运行 quota
echo "cpu.max: 200000 100000" > /sys/fs/cgroup/service/cpu.max
// 含义：每 100ms 周期内最多运行 200ms → 2 个 CPU 核心

// 多级 cgroup 继承示例
/sys/fs/cgroup/
├── system/          cpu.weight=100    (系统服务)
├── workload/        cpu.weight=800    (业务负载)
│   ├── frontend/    cpu.weight=600
│   └── backend/     cpu.weight=400
└── batch/           cpu.weight=50     (批处理低优先级）

cgroup v2 的 cpu.weight 比 v1 的 cpu.shares 更直观直接，且支持递归传播——修改父组权重会按比例重新计算所有子组的相对份额。

// 查看 NUMA 拓扑
numactl --hardware
lscpu | grep NUMA

// 绑定进程到特定 NUMA 节点的 CPU 和本地内存
numactl --cpunodebind=0 --membind=0 ./my_app
taskset -c 0-7 ./my_app           // 绑定到 CPU 0-7

// 启用/禁用自动 NUMA Balancing
sysctl -w kernel.numa_balancing=1   // 开启（默认）
sysctl -w kernel.numa_balancing=0   // 关闭（HPC 场景常用）

// 1. perf sched 记录调度事件
perf sched record -a sleep 30          // 全局录制 30 秒
perf sched latency                     // 查看进程调度延迟分布
perf sched map                         // CPU 时间线视图

// 2. ftrace 调度追踪
echo 1 > /sys/kernel/debug/tracing/events/sched/enable
cat /sys/kernel/debug/tracing/trace_pipe

// 3. 使用 BPF 工具实时追踪
bpftrace -e 'tracepoint:sched:sched_switch { @[comm] = count(); }'
funclatency sched_yield                 // 调用耗时分析

// 4. hackbench 基准测试（调度器压力测试）
hackbench -s 512 -l 10000 -g 15 -f 25 -P

// 禁用自动 NUMA Balancing（避免页迁移开销）
sysctl -w kernel.numa_balancing=0

// 关闭 IRQ 平衡，手动绑定中断到指定核心
echo 2 > /proc/irq/IRQ_NUMBER/smp_affinity

// 设置 CPU 为性能模式
cpupower frequency-set -g performance

// 绑定应用进程到隔离 CPU（配合 isolcpus 内核参数）
GRUB_CMDLINE_LINUX="isolcpus=2-7 nohz_full=2-7 rcu_nocbs=2-7"
taskset -c 2-7 ./hpc_app

// Kubernetes 中设置 CPU Manager 策略
kubelet --cpu-manager-policy=static          // 独占 CPU 分配
kubelet --topology-manager-policy=single-numa-node  // NUMA 对齐

// Pod 资源请求（request=limit 确保独占）
resources:
  requests:
    cpu: "4"
    memory: "8Gi"
  limits:
    cpu: "4"
    memory: "8Gi"     // request == limit → Guaranteed QoS

// cgroup v2 权重映射说明
// CPU request: 对应 cpu.shares（cgroup v1）或 cfs_quota_us/period_us
// CPU limit:  对应 cpu.weight（cgroup v2）