系统内核

Linux 内核 io_uring 时间轮与异步超时机制深度工程:构建百万级定时器的高性能 AI 推理请求调度

深入解析 Linux 内核 io_uring 内置时间轮机制,从内核 hrtimer 到多级时间轮数据结构,构建零系统调用的百万级并发异步超时调度引擎,专为 AI 推理网关的请求生命周期管理设计。涵盖链接超时、MULTISHOT 重试、NUMA 亲和性优化及生产级部署 checklist。

大模型分布式训练并行与显存工程实战:从 ZeRO 分片、FSDP 扁平参数到激活重计算与通信重叠全链路

沿真实工程决策链拆解大模型分布式训练:先算清混合精度 AdamW 的 16 字节/参数显存账本,再区分 DP/TP/PP 三种并行各自解决的维度,深入 ZeRO 三级分片与 FSDP FlatParameter 编排(含 70B 在 64 卡上的单卡显存实测表),给出选择性激活重计算的算力-显存兑换率与 use_reentrant 陷阱,最后落到 prefetch、bucket 与梯度累积 no_sync 的通信-计算重叠实战。