训练工程

1. 首页
2. 训练工程

在大模型训练的工程现场，GPU 显存是最硬的约束。当你想用 128 的全局批量（global batch）去逼近论文里的收敛曲线，却发现单卡连 micro batch=8 都 OOM 时，梯度累积（Gradient Accumulation）几乎是唯一不依赖多机多卡就能"假装大批量"的手段。但它远不是"把 loss 除以 N 再累加起来"那么简单：Batch Normalization 的统计错位…

系统拆解损失函数的第一性原理：为什么 0/1 损失不可导、所有可训练损失都是替代损失；从交叉熵的最大似然与 KL 散度推导、log_softmax 的数值稳定性，到标签平滑（ε 软化目标）、Focal Loss（聚焦难样本、α/γ 调参）、BCE+pos_weight 处理类别不平衡，再覆盖回归损失（MSE/MAE/Huber/Log-Cosh/分位）、带温度 KL 的蒸馏损失与基于同方差不确定性的多任务自适应加权，并给出 10 项生产陷阱清单（数值溢出、reduction 与梯度累积、ignore_index、混合精度、软标签类型、类别失衡、蒸馏冲突、多任务尺度失衡、NaN 检测、指标与 loss 解耦）与可复现 PyTorch 工具箱。与本站 RMSNorm、相对位置编码、交叉注意力、残差连接、学习率调度、梯度累积、词嵌入、激活函数共同构成 Transformer 内部机制与训练工程深度解系列（补全训练目标一环）。

系统拆解正则化的第一性原理：从经验风险到期望风险的泛化间隙、约束/惩罚优化的统一框架；深入权重衰减与 L2 的本质及 AdamW 的"解耦"陷阱（L2 被二阶动量缩放导致衰减失真），并给出"norm 层与 bias 不衰减"的生产级参数分组实现；讲清 Dropout 的反转（inverted）机制与训练/推理鸿沟（忘记 eval() 的高频事故）、Dropout 与 BatchNorm 的冲突；揭示早停与权重衰减的对偶性（早停等价于隐式 L2）与回滚最佳权重的重要性；从隐式正则视角解读数据增强（Mixup/CutMix/RandAugment）及其与标签平滑的桥接；进阶覆盖 Stochastic Depth（DropPath）、模型 EMA 与 SWA；梳理正则手段的协同与冲突（权重衰减×BN、Dropout×BN、增强×统计量、衰减×预热），给出 12 项生产陷阱清单与可复现 PyTorch 正则工具箱。与本站 RMSNorm、相对位置编码、交叉注意力、残差连接、学习率调度、梯度累积、词嵌入、激活函数、损失函数共同构成 Transformer 内部机制与训练工程深度解系列（补全泛化控制一环）。