激活函数深度实战:从 ReLU、GELU 的数值稳定性到 SwiGLU / GeGLU 与融合 Kernel 的生产工程 系统拆解激活函数的第一性原理:为什么非线性不可或缺、ReLU 的死亡神经元问题与改进族(LeakyReLU/ELU/SELU),GELU 精确版与 tanh/sigmoid 近似的数值稳定性权衡,再到 SwiGLU/GeGLU 门控线性单元取代 GELU-then-Linear 的设计哲学与维度对齐约束 大语言模型 2026年10月09日 0 点赞 0 评论 67 浏览