学习率调度深度实战:从 Warmup、Cosine 退火到 WSD 与线性缩放律的大批量预训练工程 系统拆解学习率调度的第一性原理:为什么 LR 主宰优化轨迹与泛化(flat/sharp minima),从恒定与阶梯衰减的朴素基线,到线性/常数/余弦三种 Warmup 的动力学成因,再到 Cosine 退火、SGDR 与现代化大模型预训练范式 Warmup-Stable-Decay(WSD) 模型微调 2026年10月08日 0 点赞 0 评论 68 浏览
残差连接深度实战:从退化问题与恒等映射、残差流到 Pre-LN 与深度初始化工程 系统拆解残差连接的第一性原理:为何 plain 网络会退化、恒等映射 y=F(x)+x 如何在反向传播中保留永不消失的梯度高速通道(∂L/∂x = ∂L/∂y·(∂F/∂x + I)),并从机制可解释性视角解读 Transformer 的残差流(注意力/MLP 只是写入主干的低秩扰动) 大语言模型 2026年10月08日 0 点赞 0 评论 79 浏览