并行计算

深入理解 GPU Tensor Core 架构与 CUDA 编程实战:从 Ampere 到 Blackwell 的 AI 高性能计算

从工业级 AI 计算的视角,系统性梳理 NVIDIA Tensor Core 的架构演进(Volta→Ampere→Hopper→Blackwell),深入讲解 CUDA WMMA API、Hopper TMA 异步拷贝、Warp Group wgmma 指令、共享内存 Swizzle、多级流水线设计,并提供 FP8 混合精度 GEMM 内核实战案例与 Nsight Compute 性能剖析指南。

大模型分布式训练并行与显存工程实战:从 ZeRO 分片、FSDP 扁平参数到激活重计算与通信重叠全链路

沿真实工程决策链拆解大模型分布式训练:先算清混合精度 AdamW 的 16 字节/参数显存账本,再区分 DP/TP/PP 三种并行各自解决的维度,深入 ZeRO 三级分片与 FSDP FlatParameter 编排(含 70B 在 64 卡上的单卡显存实测表),给出选择性激活重计算的算力-显存兑换率与 use_reentrant 陷阱,最后落到 prefetch、bucket 与梯度累积 no_sync 的通信-计算重叠实战。