分布式训练通信压缩与并行拓扑优化:从 Ring AllReduce 到 3D 并行的工程实践 深入解析分布式训练中的通信优化技术:Ring AllReduce 实现原理、Top-K/PowerSGD/INT8三类压缩算法、3D 并行的拓扑感知配置优化,以及端到端通信优化训练框架的工程落地实战。 分布式系统 2026年10月06日 0 点赞 0 评论 100 浏览
大模型分布式训练并行与显存工程实战:从 ZeRO 分片、FSDP 扁平参数到激活重计算与通信重叠全链路 沿真实工程决策链拆解大模型分布式训练:先算清混合精度 AdamW 的 16 字节/参数显存账本,再区分 DP/TP/PP 三种并行各自解决的维度,深入 ZeRO 三级分片与 FSDP FlatParameter 编排(含 70B 在 64 卡上的单卡显存实测表) 分布式系统 2026年10月06日 0 点赞 0 评论 67 浏览
CPU-GPU 异构统一虚拟内存系统:AI 大规模训练的核心基础设施 深入解析 CPU-GPU 统一虚拟内存系统(CUDA Unified Memory + Linux HMM)的工作原理与实战优化,涵盖 page fault 机制、CUDA VMM API、GPUDirect RDMA/Storage、分页模型参数存储 操作系统 2026年10月05日 0 点赞 0 评论 71 浏览
Linux内核sched_ext BPF调度器实战——AI训练与推理服务混部场景下的自定义调度策略 深入解析Linux 6.12引入的sched_ext BPF调度器框架,通过完整代码示例展示如何为AI训练与推理混部场景开发生产级自定义调度器,包含vtime加权、NUMA感知放置、时间片差异化等核心机制,并附有双路EPYC 9654 4×H100基准测试数据。 eBPF技术 2026年10月05日 0 点赞 0 评论 73 浏览
Linux 内核 Memcg v2 + io_uring:AI 训练数据加载管线中的内存压力感知异步 I/O 探索Linux内核memcg v2的PSI内存压力信号如何与io_uring提交队列协同,实现AI训练数据加载中内存感知的流量控制,从根源消除OOM。 文件系统 2026年10月04日 0 点赞 0 评论 64 浏览
ZNS SSD 的 io_uring uring_cmd 直通实战:AI 训练日志零拷贝存储引擎 深入解析 NVMe ZNS 顺序写入模型,使用 io_uring uring_cmd 接口在用户态直接管理 Zone 存储。涵盖 NVMe uring_cmd SQE 封装、registered buffers 零拷贝、Zone 生命周期回收,以及与 SPDK/f2fs 的性能对比实测。 文件系统 2026年10月04日 0 点赞 0 评论 92 浏览
用消费级游戏GPU搭建AI训练集群:从硬件选型到分布式训练的完全实战 完整记录从零搭建4卡RTX 4090 AI训练节点的全过程,涵盖硬件选型、散热设计、NCCL通信优化、PyTorch分布式训练配置,以及实际跑通LLaMA-3 70B QLoRA微调的经验,包含完整的代码示例和性能基准测试数据。 分布式系统 2026年10月04日 0 点赞 0 评论 84 浏览
OCaml 5 多核运行时深度工程实战:从 Domain/Fiber 与 Effect Handler、无读屏障内存模型到并发 Major GC 沿 OCaml 5 运行时链路逐层拆解:Domain/Fiber 两级并发、无读屏障的 DRF-SC 内存模型与写屏障、per-domain minor heap 与 STW 小收集、major heap 并发标记与备份线程、tagged int 与扁平 float array 的值表示 系统编程 2026年10月04日 0 点赞 0 评论 112 浏览
ZFS 深度学习:从 Copy-on-Write 事务模型到生产级部署的 CoW 文件系统实践 ZFS深度学习:全面剖析Copy-on-Write事务模型、存储池架构、ARC自适应替换缓存、ZIL/SLOG加速机制、快照与克隆、RAID-Z冗余策略、透明压缩与去重,以及数据库和容器场景的生产部署最佳实践 深度学习 2026年10月04日 0 点赞 0 评论 105 浏览
从零构建生产级 RLHF 训练管线:PPO、DPO 与 REINFORCE 的算法实现与工程实践 深入解析 RLHF 训练管线的核心算法与工程实践,涵盖 Reward Model 训练、PPO 实现、DPO 推导、RLOO 基线优化及分布式训练方案 算法与数据结构 2026年10月04日 0 点赞 0 评论 127 浏览