AI大模型分布式训练：张量并行与流水线并行深度实践
深入拆解大模型训练的两大核心并行策略——张量并行与流水线并行。从矩阵分块原理、1F1B 调度算法到 Megatron-LM 工程实现，配合 PyTorch 代码实战，详解 TP × PP × DP 三维并行体系如何在 3072 张 GPU 上跑出近线性加速比。
分布式训练
分布式训练通信压缩与并行拓扑优化：从 Ring AllReduce 到 3D 并行的工程实践
深入解析分布式训练中的通信优化技术：Ring AllReduce 实现原理、Top-K/PowerSGD/INT8三类压缩算法、3D 并行的拓扑感知配置优化，以及端到端通信优化训练框架的工程落地实战。
用消费级游戏GPU搭建AI训练集群：从硬件选型到分布式训练的完全实战
完整记录从零搭建4卡RTX 4090 AI训练节点的全过程，涵盖硬件选型、散热设计、NCCL通信优化、PyTorch分布式训练配置，以及实际跑通LLaMA-3 70B QLoRA微调的经验，包含完整的代码示例和性能基准测试数据。
大模型分布式训练并行与显存工程实战：从 ZeRO 分片、FSDP 扁平参数到激活重计算与通信重叠全链路
沿真实工程决策链拆解大模型分布式训练：先算清混合精度 AdamW 的 16 字节/参数显存账本，再区分 DP/TP/PP 三种并行各自解决的维度，深入 ZeRO 三级分片与 FSDP FlatParameter 编排（含 70B 在 64 卡上的单卡显存实测表），给出选择性激活重计算的算力-显存兑换率与 use_reentrant 陷阱，最后落到 prefetch、bucket 与梯度累积 no_sync 的通信-计算重叠实战。
