大语言模型 - 大模型技术实战

损失函数深度实战：从交叉熵、标签平滑到 Focal Loss 与多任务损失的训练工程全解

系统拆解损失函数的第一性原理：为什么 0/1 损失不可导、所有可训练损失都是替代损失；从交叉熵的最大似然与 KL 散度推导、log_softmax 的数值稳定性，到标签平滑（ε 软化目标）、Focal Loss（聚焦难样本、α/γ 调参）、BCE+pos_weight 处理类别不平衡，再覆盖回归损失（MSE/MAE/Huber/Log-Cosh/分位）、带温度 KL 的蒸馏损失与基于同方差不确定性的多任务自适应加权，并给出 10 项生产陷阱清单（数值溢出、reduction 与梯度累积、ignore_index、混合精度、软标签类型、类别失衡、蒸馏冲突、多任务尺度失衡、NaN 检测、指标与 loss 解耦）与可复现 PyTorch 工具箱。与本站 RMSNorm、相对位置编码、交叉注意力、残差连接、学习率调度、梯度累积、词嵌入、激活函数共同构成 Transformer 内部机制与训练工程深度解系列（补全训练目标一环）。

大语言模型 2026年10月09日 0 点赞 0 评论 25 浏览

正则化深度实战：从权重衰减、Dropout 到早停、数据增强与 Stochastic Depth 的训练工程全解

系统拆解正则化的第一性原理：从经验风险到期望风险的泛化间隙、约束/惩罚优化的统一框架；深入权重衰减与 L2 的本质及 AdamW 的"解耦"陷阱（L2 被二阶动量缩放导致衰减失真），并给出"norm 层与 bias 不衰减"的生产级参数分组实现；讲清 Dropout 的反转（inverted）机制与训练/推理鸿沟（忘记 eval() 的高频事故）、Dropout 与 BatchNorm 的冲突；揭示早停与权重衰减的对偶性（早停等价于隐式 L2）与回滚最佳权重的重要性；从隐式正则视角解读数据增强（Mixup/CutMix/RandAugment）及其与标签平滑的桥接；进阶覆盖 Stochastic Depth（DropPath）、模型 EMA 与 SWA；梳理正则手段的协同与冲突（权重衰减×BN、Dropout×BN、增强×统计量、衰减×预热），给出 12 项生产陷阱清单与可复现 PyTorch 正则工具箱。与本站 RMSNorm、相对位置编码、交叉注意力、残差连接、学习率调度、梯度累积、词嵌入、激活函数、损失函数共同构成 Transformer 内部机制与训练工程深度解系列（补全泛化控制一环）。

大语言模型 2026年10月09日 0 点赞 0 评论 25 浏览

Dropout 深度实战：从子网络集成、Inverted Dropout 到 DropPath 与 MC Dropout 的生产工程

Dropout 是深度学习里最反直觉、也最容易被误用的正则化手段之一。它在 2012 年以 "Improving neural networks by preventing co-adaptation of feature detectors" 提出，核心思想只有一句话：**在训练时随机"丢弃"一部分神经元，迫使网络不能在固定的神经元组合上抱团作弊**。本文从第一性原理出发，把 Dropout 的…

大语言模型 2026年10月09日 0 点赞 0 评论 25 浏览

不确定性校准深度实战：从可靠性图、ECE 到温度缩放与贝叶斯校准的工程全解

系统拆解模型校准的第一性原理：为什么高准确率网络普遍过自信、区分度与校准度解耦；从完美校准定义 P(Ŷ=Y|Ĉ=p)=p、可靠性图（校准曲线）、ECE/MCE/class-wise ECE/Brier/NLL（ECE 非 proper scoring rule，须与 NLL 同报）的评估体系，到参数化缩放谱系（Platt/Isotonic/Vector/Matrix/Temperature Scaling——单标量 T 保留 argmax 与 AUC 的性价比之王）、训练期标签平滑/数据增强/蒸馏反而放大过自信的反作用、以及 MC Dropout/Deep Ensemble/Conformal Prediction 对真实不确定性（认知+偶然）的建模。深入温度缩放实战（在独立验证集、eval 模式、fp32 下拟合 T>1）、12 项生产陷阱清单（训练集泄漏、未 eval、低精度、bin 数、类别不平衡、OOD 检测、多任务、漂移）与可复现 PyTorch 工具箱。与本站损失函数、正则化、激活函数、RMSNorm、相对位置编码、交叉注意力、残差连接、学习率调度、梯度累积、词嵌入共同构成 Transformer 内部机制与训练工程深度解系列（补全输出可靠性一环），并与成员推断/模型提取攻击共享"置信度"这一攻防面（校准是一把双刃剑）。

大语言模型 2026年10月09日 0 点赞 0 评论 24 浏览