FlashAttention Tiling 策略与在线 Softmax：从数学推导到 IO-Aware 工程实战
深入分析FlashAttention的Tiling策略与在线Softmax数学原理：从增量归约公式推导，到Forward/Backward Tiling设计、Tensor Core WGMMA编程适配、三级异步流水线，延伸至Flash-Decoding与Flash-Decoding 推理优化，并给出A100/H100实测性能对比与工程落地要点。
投稿
微信公众账号
微信扫一扫加关注
顶部