梯度累积深度实战:从显存墙、小批量退化到有效批次与混合精度训练的协同工程 在大模型训练的工程现场,GPU 显存是最硬的约束。当你想用 128 的全局批量(global batch)去逼近论文里的收敛曲线,却发现单卡连 micro batch=8 都 OOM 时,梯度累积(Gradient Accumulation)几乎是唯一不依赖多机多卡就能“假装大批量”的手段。 大语言模型 2026年10月08日 0 点赞 0 评论 43 浏览
损失函数深度实战:从交叉熵、标签平滑到 Focal Loss 与多任务损失的训练工程全解 系统拆解损失函数的第一性原理:为什么 0/1 损失不可导、所有可训练损失都是替代损失;从交叉熵的最大似然与 KL 散度推导、log_softmax 的数值稳定性,到标签平滑(ε 软化目标)、Focal Loss(聚焦难样本、α/γ 调参)、BCE+pos_weight 处理类别不平衡 大语言模型 2026年10月09日 0 点赞 0 评论 66 浏览
正则化深度实战:从权重衰减、Dropout 到早停、数据增强与 Stochastic Depth 的训练工程全解 系统拆解正则化的第一性原理:从经验风险到期望风险的泛化间隙、约束/惩罚优化的统一框架;深入权重衰减与 L2 的本质及 AdamW 的“解耦”陷阱(L2 被二阶动量缩放导致衰减失真),并给出“norm 层与 bias 不衰减”的生产级参数分组实现 大语言模型 2026年10月09日 0 点赞 0 评论 50 浏览