LLM

RMSNorm 深度实战:从 LayerNorm 的协方差偏移到 FP8 融合 Kernel 的数值稳定性工程

当你打开 LLaMA、Qwen、DeepSeek、Gemma 或 Mistral 任意一份模型配置文件时,几乎都会看到同一行:`"norm_type": "rms_norm"`。RMSNorm(Root Mean Square Normalization)已经成为现代大语言模型事实上的默认归一化层,取代了 Transformer 原始论文中使用的 LayerNorm。但绝大多数工程实现只是把它当作…

Transformer架构的演进之路:从注意力机制到通用计算引擎

系统梳理Transformer架构从2017年诞生至今的完整演进脉络:从原始自注意力机制,到Encoder/Decoder架构分化,到MoE、线性注意力、状态空间模型等前沿方向。深入分析Flash Attention、RoPE、SwiGLU、DeepNorm等关键技术变革,并展望Transformer与SSM混合、推理时计算扩展、多模态统一等未来趋势。