分布式训练

深入拆解 JAX 的编译流水线，从 trace 机制到 HLO 优化、从自动微分规则推导到 GSPMD 分区器，揭示这套系统如何将 Python 代码转化为跨数百个 TPU/GPU 运行的高性能计算图。

编译原理 2026年10月04日 0 点赞 0 评论 103 浏览

深入解析 Google TPU v6 (Trillium) 的 MXU 脉动阵列微架构、ICI 芯片间互连拓扑、HBM 内存子系统，并结合 JAX/XLA 编译器实战万卡分布式训练的工程优化策略。

分布式系统 2026年10月03日 0 点赞 0 评论 111 浏览

从底层原理到工程实践，深入剖析 Ring AllReduce 算法机制及 DeepSpeed ZeRO-DP 参数分片策略，提供千卡集群训练可落地的通信优化指南

分布式系统 2026年10月02日 0 点赞 0 评论 113 浏览

大模型分布式训练并行策略深度实战——从ZeRO三阶段显存优化到FSDP工程实现，从张量并行与流水线并行的拓扑映射到Bubble消除策略（1F1B/Interleaved/ZBV），附生产级配置模板。

分布式系统 2026年10月02日 0 点赞 0 评论 94 浏览

分布式训练

首页

分布式训练