交叉注意力深度实战:从编码器-解码器对齐、KV 投影到多模态融合与流式解码工程 系统拆解交叉注意力的第一性原理:Q 来自解码端、K/V 来自编码端,从 Bahdanau 加性注意力、Luong 乘性注意力到现代缩放点积交叉注意力,亲手实现一个生产级 CrossAttention 模块,并深入多模态融合(Whisper/视觉-语言/Perceiver) 多模态大模型 2026年10月08日 0 点赞 0 评论 105 浏览
分组查询注意力(GQA)与多查询注意力(MQA)深度实战:从 KV 缓存瓶颈、头维度折叠到推理吞吐与显存占用的工程全解 自回归大模型推理的真实瓶颈,往往不在算力而在显存带宽与 KV 缓存占用。当模型层数、上下文长度、并发数同时放大,多头注意力(MHA)为每个查询头都保留一份独立的 Key/Value,KV 缓存体积随头数线性膨胀,最终把解码速度牢牢钉在 HBM 带宽上限上。 大语言模型 2026年10月10日 0 点赞 0 评论 60 浏览