从第一性原理推导 Flash Attention：IO 复杂度、Tiling 策略与在线 Softmax 的数学工程
从第一性原理出发，深入推导 Flash Attention 的核心数学变换，分析 IO 复杂度下界，解析在线 Softmax 的修正引理，讨论 Tiling 策略、SRAM 分区与工程落地中的关键细节。覆盖 Flash Attention 1/2/3 的演进与不同硬件的调优参数。
投稿
微信公众账号
微信扫一扫加关注
顶部