高性能计算

FlashAttention 算法深度解析:从 IO-Aware 优化到 GPU 硬件极致

FlashAttention 通过 IO-Aware 的 Tiling + Recomputation 策略,将 Self-Attention 的 HBM 访问复杂度从 O(N²) 降至 O(N²/d),在不牺牲数学精度的前提下实现 2-4× 端到端训练加速。本文深入推导 Online Softmax 数学基础、解析 FlashAttention/2/3 三代算法演进、剖析 Hopper/Tensor Core 适配优化,并给出一套完整的工程性能分析框架。

大模型分布式训练并行与显存工程实战:从 ZeRO 分片、FSDP 扁平参数到激活重计算与通信重叠全链路

沿真实工程决策链拆解大模型分布式训练:先算清混合精度 AdamW 的 16 字节/参数显存账本,再区分 DP/TP/PP 三种并行各自解决的维度,深入 ZeRO 三级分片与 FSDP FlatParameter 编排(含 70B 在 64 卡上的单卡显存实测表),给出选择性激活重计算的算力-显存兑换率与 use_reentrant 陷阱,最后落到 prefetch、bucket 与梯度累积 no_sync 的通信-计算重叠实战。

WebGPU Subgroup 操作与 SIMT 性能优化实战:从 shuffle 到 ballot

WebGPU 的 subgroup 原语为 Web 平台带来了 GPU 级别的 SIMD 通信能力。本文深入讲解 subgroup 的核心操作(shuffle/ballot/reduction),并通过 4 个实战场景(高效归约、warp 级前缀和、分支优化、GEMM 分块策略)展示如何利用 subgroup 实现 workgroup 共享内存 3-12x 的性能突破。包含完整 WGSL 实现和 Chrome/Edge 的性能基准数据。

图计算系统深度工程实战:从 Pregel 顶点中心 BSP、PowerGraph GAS 到 GraphBLAS 代数化算子与 GPU 图遍历

拆解现代图计算系统的三条技术路线:Pregel 的顶点中心 BSP 超步与 Combiner/Checkpoint 工程、PowerGraph 的 vertex-cut 与 GAS 模型如何应对幂律分布、GraphBLAS 如何用半环把图算法重写为稀疏线性代数,以及 GPU 上 CSR 遍历的 warp 级负载均衡与前沿策略,并给出工程选型对照表。