高性能计算

大模型分布式训练并行与显存工程实战:从 ZeRO 分片、FSDP 扁平参数到激活重计算与通信重叠全链路

沿真实工程决策链拆解大模型分布式训练:先算清混合精度 AdamW 的 16 字节/参数显存账本,再区分 DP/TP/PP 三种并行各自解决的维度,深入 ZeRO 三级分片与 FSDP FlatParameter 编排(含 70B 在 64 卡上的单卡显存实测表),给出选择性激活重计算的算力-显存兑换率与 use_reentrant 陷阱,最后落到 prefetch、bucket 与梯度累积 no_sync 的通信-计算重叠实战。

图计算系统深度工程实战:从 Pregel 顶点中心 BSP、PowerGraph GAS 到 GraphBLAS 代数化算子与 GPU 图遍历

拆解现代图计算系统的三条技术路线:Pregel 的顶点中心 BSP 超步与 Combiner/Checkpoint 工程、PowerGraph 的 vertex-cut 与 GAS 模型如何应对幂律分布、GraphBLAS 如何用半环把图算法重写为稀疏线性代数,以及 GPU 上 CSR 遍历的 warp 级负载均衡与前沿策略,并给出工程选型对照表。

WebGPU Subgroup 操作与 SIMT 性能优化实战:从 shuffle 到 ballot

WebGPU 的 subgroup 原语为 Web 平台带来了 GPU 级别的 SIMD 通信能力。本文深入讲解 subgroup 的核心操作(shuffle/ballot/reduction),并通过 4 个实战场景(高效归约、warp 级前缀和、分支优化、GEMM 分块策略)展示如何利用 subgroup 实现 workgroup 共享内存 3-12x 的性能突破。包含完整 WGSL 实现和 Chrome/Edge 的性能基准数据。