Linux 内核热插拔与 CPU 调度深度实战：从动态拓扑变更到 AI 推理服务的弹性伸缩

在现代数据中心，AI 推理服务的负载呈现显著的波峰波谷特征——白天可能涌入数十万 QPS，而深夜只需少量核心维持长尾请求。传统静态资源分配导致了巨大的算力浪费。Linux 内核的 CPU 热插拔（CPU Hotplug）机制配合调度器域（Sched Domain）的实时重构，为算力的"按需伸缩"提供了底层支撑。本文将从 CPU 热插拔的内核实现原理出发，深入剖析调度拓扑的动态重构机制，并结合 AI 推理服务的生产级部署案例，给出一套完整的弹性伸缩工程实践方案。

一、为什么 AI 推理需要 CPU 热插拔

数据中心正面临一个尖锐矛盾：AI 推理服务需要大量 CPU 核心进行预处理（图像解码、tokenize、batching 调度），但 CPU 功耗与核心数呈超线性关系。一台 128 核服务器在满载时功耗可达 400W，而只需 16 核工作时，功耗仍超过 150W。

CPU 热插拔允许在不重启系统的前提下，动态启用或禁用处理器核心，使算力供给与负载需求实时匹配：

• 负载高峰：在线热添加（online）核心，扩展算力池，承接更多推理请求
• 负载低谷：离线热移除（offline）核心，降低功耗与散热压力
• 硬件故障：隔离故障核心，保障服务连续性（MCE 容错联动）
• 能源管理：配合数据中心冷却系统，实现热-电协同调度

根据 Google 2024 年发布的 TPU/CPU 协同调度论文，结合 CPU 热插拔的动态资源池化技术，平均可降低推理集群 23% 的功耗，同时保持 P99 延迟不退化。

二、CPU 热插拔的内核实现架构

2.1 状态机与生命周期

Linux 内核的 CPU 热插拔是一个复杂的多阶段状态机。每个 CPU 核心在热插拔过程中经历以下状态转换：

CPU_DOWN_PREPARE → CPU_TEARDOWN → CPU_AP_ACTIVE → CPU_OFFLINE → CPU_NOTIFICATIONS → CPU_BROKEN
                  ↓
CPUHP_AP_ONLINE_DYN → CPUHP_ONLINE → CPU_ONLINE → CPU_active

其中关键的回调注册点通过 cpuhp_setup_state() 和 cpuhp_setup_state_nocalls() 完成。以内核 6.6+ 为例：

// 注册 CPU 热插拔回调
static int __init my_driver_init(void) {
    // 在 CPU 即将离线时回调
    ret = cpuhp_setup_state(CPUHP_AP_ONLINE_DYN, "my_driver:online",
                            my_cpu_online, my_cpu_offline);
    return ret;
}

static int my_cpu_online(unsigned int cpu) {
    // 初始化 per-cpu 数据结构
    // 启用本地 APIC 中断路由
    // 将 CPU 加入调度域
    struct my_data *data = per_cpu_ptr(&my_percpu_data, cpu);
    spin_lock_init(&data->lock);
    data->buffer = kzalloc(NODE_SIZE, GFP_KERNEL);
    return 0;
}

static int my_cpu_offline(unsigned int cpu) {
    // 迁移中断到其他 CPU
    // 回收 per-cpu 资源
    // 刷新 pending 的 workqueue
    struct my_data *data = per_cpu_ptr(&my_percpu_data, cpu);
    kfree(data->buffer);
    return 0;
}

2.2 中断路由的重构

CPU 热插拔最复杂的环节之一是中断路由。当一个 CPU 离线时，所有路由到该 CPU 的中断请求（IRQ）必须被迁移到在线 CPU 集合中，否则会导致中断丢失。

内核通过 irq_migrate_all_off_cpu() 完成这一操作：遍历全局 IRQ 描述符表，对每个目标 CPU 等于离线 CPU 的中断，重新分配到在线 CPU 集合。对于 MSI-X 向量中断（现代高速设备的主流方式），还需更新设备的 MSI 配置空间。

2.3 SRCU 同步机制

CPU 热插拔面临的核心并发挑战是：某些内核读侧临界区（Read-Copy Update 的 read-side）可能正在被离线 CPU 执行。内核使用 SRCU（Sleepable RCU）的 cpuhp_rcu_enter() 机制确保离线 CPU 不会在读侧临界区逗留。该机制通过 wait_rcu_gp() 等待所有 CPU 经过 quiescent state，保证数据安全。

三、调度域（Sched Domain）的动态重构

3.1 调度域层次结构

Linux CFS 调度器通过调度域的层次拓扑来理解物理硬件结构。典型的服务器调度域层次为：

NUMA Node (DIE domain)
├── Package 0 (MC domain)
│   ├── Core 0 (DIE/MC) → Thread 0, Thread 1 (SMT)
│   ├── Core 1 (DIE/MC) → Thread 2, Thread 3
│   └── ...
├── Package 1 (MC domain)
│   └── ...
└── (跨 NUMA 的 NUMA domain)

当 CPU 被热移除后，相关调度域必须实时重建，否则调度器可能将任务分配给不存在的 CPU。内核通过 partition_sched_domains() 触发重建，该函数：

1. 释放旧的调度域拓扑
2. 根据当前在线 CPU 集合构建新的 SD 层次
3. 重新设置负载均衡参数（Migration Cost、Load Imbalance Threshold）
4. 触发负载均衡软中断以重新分配任务

3.2 负载均衡器的适应性调整

调度器为不同的调度域层级使用不同的负载均衡策略：

• SMT 级：同一核心的超线程间均衡，间隔最短（约 1ms），适合突发计算
• MC 级：同一封装内的核心间均衡，间隔中等（约 4ms），平衡缓存亲和与负载分散
• NUMA 级：跨 NUMA 节点均衡，间隔最长（约 16-64ms），优先避免远程内存访问

CPU 热移除时，MC 和 NUMA 级的 load_balance() 参数需要动态调整。内核源码中 sd_numa_mask() 会根据在线 CPU 重新计算 NUMA 节点掩码，确保 wake_affine 等亲和逻辑不引用离线核心。

3.3 与 cgroup v2 的协同

在容器化部署的 AI 推理场景中，CPU 设置通常通过 cgroup v2 的 cpuset.cpus 暴露给容器。热插拔时需要特别注意：

• cpuset 的 effective_cpus 必须排除离线 CPU，否则 cpuset_update_active_cpus() 会将任务分配给可能已离线的 CPU
• cpuset 的 sched_load_balance 标志需触发微调度重计算，避免 load_balance 引用无效调度域
• 如果 cpuset 配置的 CPU 被全部离线，需要通知用户空间（cgroup_event 机制），给容器编排系统（如 K8s）处理

#!/usr/bin/env python3
"""CPU Hotplug Elastic Controller for AI Inference"""

import subprocess
import time
from pathlib import Path

HOTPLUG_CPU_PATH = Path("/sys/devices/system/cpu")
SCALE_UP_THRESHOLD = 75   # 平均利用率超过75%时扩容
SCALE_DOWN_THRESHOLD = 25  # 平均利用率低于25%时缩容
COOLDOWN_PERIOD = 60        # 热插拔冷却时间（秒）

def read_cpu_utilization(window_sec=30) -> float:
    """从 Prometheus 读取最近 N 秒的平均 CPU 利用率"""
    # 实际实现查询推理服务的 cpu_usage 指标
    return prom_query('avg(rate(container_cpu_usage_seconds_total[30s]))')

def online_cpu(cpu_id: int):
    """在线添加 CPU 核心"""
    target = HOTPLUG_CPU_PATH / f"cpu{cpu_id}" / "online"
    if not target.exists():
        return
    target.write_text("1")
    time.sleep(0.1)  # 等待调度器就绪
    subprocess.run(["cgset", "-r", "cpuset.cpus={}-{}".format(cpu_id, cpu_id),
                    "inference_elastic"], check=True)

def offline_cpu(cpu_id: int):
    """离线移除 CPU 核心"""
    # 1. 从 cpuset 中移除
    subprocess.run(["cgset", "-r", "cpuset.cpus=-{}".format(cpu_id),
                    "inference_elastic"], check=True)
    # 2. 等待该 CPU 上的任务迁移走
    time.sleep(0.5)
    # 3. 最终离线
    target = HOTPLUG_CPU_PATH / f"cpu{cpu_id}" / "online"
    target.write_text("0")

def elastic_loop():
    last_action_time = 0
    while True:
        util = read_cpu_utilization()
        now = time.time()
        
        if (now - last_action_time < COOLDOWN_PERIOD):
            time.sleep(5)
            continue
            
        if util > SCALE_UP_THRESHOLD:
            # 寻找可热添加的 CPU（必须是 sibling 拓扑中未启用的）
            candidates = find_hotpluggable_cpus()
            if candidates:
                online_cpu(candidates[0])
                last_action_time = now
                log_event("scale_up", candidates[0], util)
                
        elif util < SCALE_DOWN_THRESHOLD:
            # 缩容：从弹性池末尾移除
            removable = get_elastic_cpus()
            if len(removable) > MIN_RESERVED_CPUS:
                offline_cpu(removable[-1])
                last_action_time = now
                log_event("scale_down", removable[-1], util)
        
        time.sleep(10)

if __name__ == "__main__":
    elastic_loop()

# ===== CPU 热插拔调优 =====
# 缩短热插拔冷却时间（默认 10ms，降低到 1ms 加速弹性响应）
echo 1 > /proc/sys/kernel/hotplug_threshold

# ===== 调度器调优 =====
# 缩短 NUMA 级负载均衡间隔（默认 64ms → 16ms，加速拓扑变更后的均衡）
echo 16 > /proc/sys/kernel/numa_balancing_scan_period_min_ms

# 增大 MC 级迁移成本（避免轻负载时过度迁移导致抖动）
echo 200 > /sys/devices/system/cpu/cpu*/sched_domain*/migration_cost

# ===== IRQ 调优 =====
# 禁用 irqbalance 对弹性 CPU 的干预
echo 0 > /proc/irq/*/smp_affinity_list

# 将批量中断路由到固定核心（避开热插拔核心）
for irq in $(ls /proc/irq/ | grep -v default); do
    echo "0-7" > /proc/irq/$irq/smp_affinity_list
done

# ===== Cgroup 调优 =====
# 弹性组的 CFS quota 允许突发
echo 50000 > /sys/fs/cgroup/inference_elastic/cpu.cfs_period_us
echo -1 > /sys/fs/cgroup/inference_elastic/cpu.cfs_quota_us

bpftrace -e '
tracepoint:cpuhp:cpuhp_enter {
    printf("CPU hotplug: cpu=%d target_state=%d\n", args->cpu, args->target);
}
tracepoint:cpuhp:cpuhp_multi_enter {
    printf("CPU multi hotplug: cpu=%d target=%d\n", args->cpu, args->->target);
}
'

# 启用 MCE 容错热插拔
echo 1 > /sys/devices/system/machinecheck/machinecheck0/check_interval
# CE 阈值超过 10/min 自动 offline
echo 10 > /proc/sys/mce/tolerant