Linux 内核 Core Scheduling:SMT 安全域与侧信道深度防御
一、为什么 SMT 变成了安全炸弹
Intel Hyper-Threading(同步多线程,SMT)自 2002 年诞生以来,一直以「免费性能」的逻辑存在:一个物理核上并行的两个逻辑处理器共享执行单元、缓存、TLB 和微架构状态。操作系统将其视为两个独立 CPU,可以在一个逻辑核空闲时让另一个抢占前端流水线和 ALU,通常带来 15%~30% 的吞吐提升。
然而从 2018 年开始,Spectre、Meltdown 及其衍生变体的爆发彻底颠覆了这个假设。SMT 不再是一种透明的资源共享机制,它变成了侧信道攻击的高速公路:
- L1TF(L1 Terminal Fault):利用同一个物理核上并发执行的跨逻辑核访问,从 L1 数据缓存中抽取宿主机或其他租户的明文数据。
- MDS(Microarchitectural Data Sampling):包括 RIDL、Fallout、ZombieLoad,跨 SMT 线程的 Store Buffer、Line Fill Buffer、Load Port 可以被并发线程采样窃取。
- TAA(TSX Asynchronous Abort):利用 TSX 事务内存的乱序窗口在 SMT 邻居间进行数据窃取。
- SRBDS(Special Register Buffer Data Sampling):跨核的 RDRAND/RDSEED 结果可以被邻居推测窃取。
这些攻击的共同模式在于:攻击者并不需要与受害者共享内存页面或进程边界,只需共享同一物理核心上的逻辑兄弟即可。这让传统的进程隔离、KASLR、页表隔离(KPTI)都变成了从内核层面防御,但对跨 SMT 共享资源的微架构层面却力不从心。
缓解方案出现了两极分化:
- 关闭 SMT:最彻底,但性能损失巨大(某些工作负载下降 30%+)。
- STIBP / IBPB / L1D flush:软件缓解,细粒度但引入每次上下文切换或 VM entry/exit 的性能开销。
Core Scheduling 走中间路线:允许 SMT 保持开启,但在调度时强制"信任域"隔离,防止不可信任务进入同一物理核心。
二、核心设计:Cookie 信任模型
Core Scheduling 的核心概念极其简洁:每个任务(task)持有一个 cookie(调度标识),代表它的信任级别。只有拥有相同 cookie 的任务才允许在同一个物理核的逻辑兄弟上并发执行。
2.1 Cookie 数据结构
struct task_struct {
/* ... */
#ifdef CONFIG_SCHED_CORE
unsigned int core_cookie; // 当前任务的信任标识
struct rb_node core_node; // 红黑树节点(用于核心级调度队列)
struct list_head core_task_list; // 同一核心上的任务链表
unsigned int core_index; // 核心级调度顺序
unsigned int core_sched_seq; // 调度序列号
#endif
};
struct sched_core {
struct rb_root tree; // 按 core_index 排序的红黑树
struct list_head queue; // 同 cookie 任务队列
unsigned int core_id; // 物理核心 ID
int nr_running; // 当前核心上的运行任务数
unsigned long cookie; // 核心当前的信任标识
bool is_idle; // 核心是否空闲
raw_spinlock_t lock; // 核心级自旋锁
};
2.2 信任模型的三个层级
-
同一进程内线程(启用
SCHED_CORE时):同一进程内的所有线程共享同一个 cookie,允许并发在 SMT 兄弟上运行。这是因为同一进程的信任边界相同。 -
不同进程,同 UID:默认不同进程的 cookie 不同(随机生成),因此在严格模式下不能在同一物理核的 SMT 兄弟上并发。可以通过
PR_SCHED_CORE的SCORE操作让同 UID 的进程共享 cookie。 -
不同进程,不同 UID:严格隔离,不允许在 SMT 兄弟上并发。
2.3 sysctl 接口
# 查看当前 Core Scheduling 模式
cat /proc/sys/kernel/sched_core
# 0 = 关闭
# 1 = 仅捐赠(SMT 空闲时不强制驱逐,宽松模式)
# 2 = 严格模式(强制 SMT 隔离,违反时触发 IPI 驱逐)
生产环境中通常设置为 2(严格模式),配合 nmi_watchdog=0 和 skew_tick=1 使用。
三、调度器决策:pick_next_task_core
Core Scheduling 的关键实现位于 kernel/sched/core.c 的 pick_next_task_core() 函数。该函数在 CFS(完全公平调度器)之前被调用,确保核心级调度优先于进程级调度。
static struct task_struct *
pick_next_task_core(struct rq *rq, struct task_struct *prev)
{
struct sched_core *core = cpu_core(rq);
struct task_struct *next, *leader;
// 如果核心上已有非空任务队列,从核心队列中选择
if (core->cookie) {
// 核心已有一个信任域,检查新任务是否兼容
leader = core_first(core);
if (leader && leader->core_cookie != prev->core_cookie) {
// cookie 不匹配:需要驱逐或等待
if (sched_core_strict) {
// 严格模式:发送 IPI 强制邻居核心退出
send_sched_core_ipi(sibling_cpu(rq));
return idle_task; // 返回空闲任务等待驱逐完成
}
// 宽松模式:允许泄漏但记录警告
sched_core_warn("cookie mismatch on cpu=%d", cpu_of(rq));
}
}
// 从 CFS 红黑树中选择最佳候选者
next = pick_next_task_fair(rq, prev);
// 双重验证:确保候选者与核心 cookie 兼容
if (next && core->cookie && next->core_cookie != core->cookie) {
if (sched_core_strict) {
// 无法在 SMT 兄弟上运行此任务,标记核心为忙
return idle_task;
}
}
// 更新核心的 cookie
if (next != prev) {
core->cookie = next ? next->core_cookie : 0;
}
return next;
}
核心算法思路:
- 当前核正在运行的 leader task 持有核心 cookie
- 新任务必须与之 cookie 匹配,否则在 SMT 兄弟上不被允许
- 严格模式下不匹配时通过 IPI 强制邻居线程撤离,新任务只能等待或迁移到其他物理核心
- 宽松模式(
sched_core=1)下允许"泄露"并发但标记警告
四、决策树与性能权衡
在系统中启用 Core Scheduling 后,调度器的决策流程增加了关键分支:
CFS 选择候选任务
│
▼
┌─────── 候选者在物理核 X ──────┐
│ │
▼ ▼
SMT 兄弟空闲 SMT 兄弟繁忙
│ │
▼ ▼
直接安排候选者 兄弟任务 cookie == 候选 cookie?
│ │
│ ┌─────────┴─────────┐
│ ▼ ▼
│ 匹配 不匹配
│ │ │
│ ▼ ▼
| 并发执行(安全) 严格模式下:
| IPI 驱逐后等待
| 宽松模式下:
| 记录警告运行
这个决策树的代价是:你可以安全地运行多个不可信的线程,但可能失去 SMT 的并行加速,因为某个物理核心上可能有饥饿的逻辑兄弟,其 cookie 与当前排队任务不兼容。
在生产部署中,这意味着:
- 安全隔离提升:不同租户、不同安全级别的容器无法通过 SMT 共享资源进行数据窃取
- SMT 吞吐量下降:混合高安全+低安全场景下,物理核的利用率可能低于关闭 SMT 时的理论上限
- 调度延迟增加:严格模式下,IPI 驱逐引入额外延迟(us 级),对延迟敏感型负载影响显著
五、生产部署模式
5.1 KVM 虚拟化场景
在 KVM 中,Core Scheduling 最重要的用途是将 hypervisor 线程(vCPU)与宿主工作负载隔离:
# 方法 1:通过 cgroup cpuset 绑定
echo "physical_core_3,logical_sibling_3" > /sys/fs/cgroup/tenant_a/cpuset.cpus
# 方法 2:通过 KVM 启动时配置 virtio-snd(vhost 线程使用 sched_core)
taskset -c 0,4 qemu-system-x86_64 \
-cpu host,host-passthrough=on \
-smp 4,cores=2,threads=2 \
-enable-kvm \
...
现代 Kubernetes 的 CPU 管理器(static 策略)天然兼容 Core Scheduling:通过 kubelet 的 CPU 亲和性控制,可以将共享 SMT 兄弟的逻辑核分配给同一 QoS Class 的 Pod。
5.2 金融/政务高安全场景
# 系统级静态配置
echo 2 > /proc/sys/kernel/sched_core # 严格模式
echo 0 > /proc/sys/kernel/nmi_watchdog # 禁用 NMI watchdog(可能破坏核心级锁)
echo 1 > /proc/sys/kernel/skew_tick # 错开 tick 减少锁争抢
# 不同安全等级的 cgroup 配置
mkdir /sys/fs/cgroup/security_level_high
echo 0-3 > /sys/fs/cgroup/security_level_high/cpuset.cpus # 仅物理核 0-3
mkdir /sys/fs/cgroup/security_level_low
echo 0-7 > /sys/fs/cgroup/security_level_low/cpuset.cpus # 包括 SMT 兄弟
5.3 数据中心大规模部署经验
在实际运行 Core Scheduling 的大规模集群中(5000+ 节点),经验数据如下:
| 场景 | sched_core | SMT 吞吐影响 | 安全保证 | 推荐度 |
|---|---|---|---|---|
| 公有云多租户 | 2 | -8%~15% | 高 | ★★★★★ |
| 裸金属高性能计算 | 0 或 1 | 0 | 低 | ★★★ |
| 容器化微服务 | 2 + cgroup | -5%~12% | 中 | ★★★★ |
| 实时交易系统 | 2 + cpuset | -3%~8% | 高 | ★★★★ |
关键发现:在 CPU 利用率高(> 70%)时,Core Scheduling 的性能惩罚接近 0——因为物理核本来就没有空闲的 SMT 兄弟给误匹配任务使用;在 CPU 利用率低(< 30%)且频繁混合不安全负载时,惩罚最严重。
六、与硬件缓解措施的交互
Core Scheduling 并非替代硬件缓解,而是与它们协同工作:
| 缓解层级 | 机制 | Core Scheduling 的角色 |
|---|---|---|
| L1TF | L1 数据缓存清空(Core entry/exit) | 确保跨租户的 vCPU 不共享物理核心 |
| MDS / RIDL / Fallout | Store Buffer 清空 + VERW | 通过 SMT 隔离阻止存储缓冲区交叉采样 |
| TAA | TSX 异步中止禁用 / 清空 | 阻止跨 TSX 推理线程的推测执行 |
| SRBDS | RDRAND/RDSEED 结果清空 | 阻止跨逻辑核心的随机数窃取 |
| GDS / Downfall | 收集指令清空 | 阻止 GATHER 指令的乱序数据泄漏 |
当 Core Scheduling 工作在严格模式时,L1TF 的 flush 变成了防御纵深而非最后防线,因为跨信任域的物理核心共享被调度器本身禁能了。
七、调试与排错
# 查看当前任务的 core cookie
cat /proc/self/stat | awk '{print $NF}' # 最后字段
# 检查 sched_core 警告(宽松模式下出现 cookie 冲突)
dmesg | grep "sched_core"
# 查看 SMT 调度均衡状态
cat /sys/devices/system/cpu/cpu*/topology/thread_siblings_list | sort -u
# BPF 工具:监控 sched_core IPL 频率
bpftrace -e '
tracepoint:ipi:ipi_raise {
if (args->reason == "sched_core") {
@sched_core_ipis = count();
}
}
'
# 调度器统计
cat /sys/kernel/debug/sched/core_sched_stats
常见问题排查:
- 问题:IPI 风暴导致系统卡死
- 原因:多个物理核心的 IPI 形成环路
-
解决:升级到 5.15+(包含
sched_core的 IPI 去重改进) -
问题:性能断崖式下降
- 原因:系统中所有任务的 cookie 唯一,SMT 完全不可用
-
解决:使用
PR_SCHED_CORE_SCOPE_THREAD_GROUP让同进程组线程共享 cookie -
问题:实时任务延迟抖动
- 原因:严格模式的 IPI 驱逐引入不可预测延迟
- 解决:对实时任务通过
cpuset预留专用 SMT 兄弟
八、超越 Linux:Core Scheduling 的哲学延伸
Core Scheduling 的设计思想——在调度器层面建立信任域边界,而非仅依赖进程/内存隔离——正在向更广的领域渗透:
- Intel TDX / AMD SEV-SNP 的 VMM-isolation:hypervisor 作为不可信实体也无法通过 SMT 窃取 Guest 状态。
- ARM big.LITTLE / DynamIQ 的trust-aware scheduling:不同 ISA 核心间的信任模型差异。
- 异构内存(CXL/DDR5)的行为预测:未来 CXL-attached 内存控制器将引入新的共驻信任域。
在侧信道攻击日趋精密的今天,Core Scheduling 代表了操作系统从「共享一切」到「人为阻塞共享」的关键转变。这不是一个简单的功能开关,而是对 SMT 资源模型的一次根本性重构。
参考
- Linux 内核文档:
Documentation/admin-guide/hw-vuln/multihread.rst - KVM 安全虚拟化论文:Don't Look Down (USENIX 2019)
- Intel SDM Volume 3B:MDS / TAA / SRBDS 缓解方案白皮书
- Linux 内核源码:
kernel/sched/core.c(sched_core_*系列函数)

发表评论 取消回复