大语言模型

损失函数深度实战:从交叉熵、标签平滑到 Focal Loss 与多任务损失的训练工程全解

系统拆解损失函数的第一性原理:为什么 0/1 损失不可导、所有可训练损失都是替代损失;从交叉熵的最大似然与 KL 散度推导、log_softmax 的数值稳定性,到标签平滑(ε 软化目标)、Focal Loss(聚焦难样本、α/γ 调参)、BCE+pos_weight 处理类别不平衡,再覆盖回归损失(MSE/MAE/Huber/Log-Cosh/分位)、带温度 KL 的蒸馏损失与基于同方差不确定性的多任务自适应加权,并给出 10 项生产陷阱清单(数值溢出、reduction 与梯度累积、ignore_index、混合精度、软标签类型、类别失衡、蒸馏冲突、多任务尺度失衡、NaN 检测、指标与 loss 解耦)与可复现 PyTorch 工具箱。与本站 RMSNorm、相对位置编码、交叉注意力、残差连接、学习率调度、梯度累积、词嵌入、激活函数共同构成 Transformer 内部机制与训练工程深度解系列(补全训练目标一环)。

数据投毒攻击深度实战:从标签翻转、干净标签投毒到触发式后门与供应链投毒的攻防工程

数据投毒(Data Poisoning)是机器学习系统面临的一类根本性供给链威胁:攻击者在模型训练之前或训练过程中,向训练集注入精心构造的恶意样本,使最终模型在干净数据上表现正常、却在攻击者指定的输入上失效或按攻击者意图决策。与对抗样本(推理时扰动)、成员推断(隐私窃取)不同,投毒攻击的破坏发生在"信任边界的更上游"——它污染的是模型赖以学习的事实本身。本文从第一性原理出发,系统拆解标签翻转、特征…

大模型推理引擎核心技术:PagedAttention、Continuous Batching与SGLang的深度剖析

从零深入剖析LLM推理引擎核心技术:记忆分页管理PagedAttention如何消除KV Cache的内存碎片、Continuous Batching如何消除GPU空闲等待、推测解码如何实现推理加速。全面对比vLLM与SGLang两大开源推理框架的架构差异与性能表现,涵盖直觉解释、工程细节到分布式部署最佳实践。

不确定性校准深度实战:从可靠性图、ECE 到温度缩放与贝叶斯校准的工程全解

系统拆解模型校准的第一性原理:为什么高准确率网络普遍过自信、区分度与校准度解耦;从完美校准定义 P(Ŷ=Y|Ĉ=p)=p、可靠性图(校准曲线)、ECE/MCE/class-wise ECE/Brier/NLL(ECE 非 proper scoring rule,须与 NLL 同报)的评估体系,到参数化缩放谱系(Platt/Isotonic/Vector/Matrix/Temperature Scaling——单标量 T 保留 argmax 与 AUC 的性价比之王)、训练期标签平滑/数据增强/蒸馏反而放大过自信的反作用、以及 MC Dropout/Deep Ensemble/Conformal Prediction 对真实不确定性(认知+偶然)的建模。深入温度缩放实战(在独立验证集、eval 模式、fp32 下拟合 T>1)、12 项生产陷阱清单(训练集泄漏、未 eval、低精度、bin 数、类别不平衡、OOD 检测、多任务、漂移)与可复现 PyTorch 工具箱。与本站 损失函数、正则化、激活函数、RMSNorm、相对位置编码、交叉注意力、残差连接、学习率调度、梯度累积、词嵌入 共同构成 Transformer 内部机制与训练工程深度解系列(补全输出可靠性一环),并与 成员推断/模型提取攻击 共享"置信度"这一攻防面(校准是一把双刃剑)。

推荐系统深度实战:从协同过滤、召回排序到深度学习与多目标精排的工程全解

> 推荐系统是现代互联网最隐秘也最赚钱的 AI 应用:它不直接"生成"内容,却决定了用户看到的世界。从抖音的沉浸式 feed,到电商的"猜你喜欢",再到广告的精准投放,背后都是一套精密的多阶段漏斗。本文从第一性原理拆解推荐系统的四阶段范式,给出协同过滤、向量召回、Wide&Deep / DeepFM 排序与重排的可落地实现,并附上一份可直接对照的生产陷阱清单。

梯度累积深度实战:从显存墙、小批量退化到有效批次与混合精度训练的协同工程

在大模型训练的工程现场,GPU 显存是最硬的约束。当你想用 128 的全局批量(global batch)去逼近论文里的收敛曲线,却发现单卡连 micro batch=8 都 OOM 时,梯度累积(Gradient Accumulation)几乎是唯一不依赖多机多卡就能"假装大批量"的手段。但它远不是"把 loss 除以 N 再累加起来"那么简单:Batch Normalization 的统计错位…