RMSNorm 深度实战:从 LayerNorm 的协方差偏移到 FP8 融合 Kernel 的数值稳定性工程 当你打开 LLaMA、Qwen、DeepSeek、Gemma 或 Mistral 任意一份模型配置文件时,几乎都会看到同一行:"norm_type": "rms_norm"。 Linux内核 2026年10月08日 0 点赞 0 评论 65 浏览
激活函数深度实战:从 ReLU、GELU 的数值稳定性到 SwiGLU / GeGLU 与融合 Kernel 的生产工程 系统拆解激活函数的第一性原理:为什么非线性不可或缺、ReLU 的死亡神经元问题与改进族(LeakyReLU/ELU/SELU),GELU 精确版与 tanh/sigmoid 近似的数值稳定性权衡,再到 SwiGLU/GeGLU 门控线性单元取代 GELU-then-Linear 的设计哲学与维度对齐约束 大语言模型 2026年10月09日 0 点赞 0 评论 66 浏览