学习率调度深度实战:从 Warmup、Cosine 退火到 WSD 与线性缩放律的大批量预训练工程 系统拆解学习率调度的第一性原理:为什么 LR 主宰优化轨迹与泛化(flat/sharp minima),从恒定与阶梯衰减的朴素基线,到线性/常数/余弦三种 Warmup 的动力学成因,再到 Cosine 退火、SGDR 与现代化大模型预训练范式 Warmup-Stable-Decay(WSD) 模型微调 2026年10月08日 0 点赞 0 评论 68 浏览
梯度累积深度实战:从显存墙、小批量退化到有效批次与混合精度训练的协同工程 在大模型训练的工程现场,GPU 显存是最硬的约束。当你想用 128 的全局批量(global batch)去逼近论文里的收敛曲线,却发现单卡连 micro batch=8 都 OOM 时,梯度累积(Gradient Accumulation)几乎是唯一不依赖多机多卡就能“假装大批量”的手段。 大语言模型 2026年10月08日 0 点赞 0 评论 43 浏览