人工智能
  1. 首页
  2. 人工智能

列表

梯度累积深度实战：从显存墙、小批量退化到有效批次与混合精度训练的协同工程

梯度累积深度实战：从显存墙、小批量退化到有效批次与混合精度训练的协同工程

在大模型训练的工程现场，GPU 显存是最硬的约束。当你想用 128 的全局批量（global batch）去逼近论文里的收敛曲线，却发现单卡连 micro batch=8 都 OOM 时，梯度累积（Gradient Accumulation）几乎是唯一不依赖多机多卡就能"假装大批量"的手段。但它远不是"把 loss 除以 N 再累加起来"那么简单：Batch Normalization 的统计错位…
大语言模型 2026年10月08日
Linux 内核网络全栈性能调优深度实战

Linux 内核网络全栈性能调优深度实战

从硬件网卡到用户态应用逐层剖析 Linux 网络栈的性能瓶颈并给出生产验证的调优策略。涵盖网卡调优、协议栈参数、Socket编程优化、eBPF/XDP内核旁路等全链路实战内容。
AI应用与Agent 2026年10月08日
不确定性校准深度实战：从可靠性图、ECE 到温度缩放与贝叶斯校准的工程全解

不确定性校准深度实战：从可靠性图、ECE 到温度缩放与贝叶斯校准的工程全解

系统拆解模型校准的第一性原理：为什么高准确率网络普遍过自信、区分度与校准度解耦；从完美校准定义 P(Ŷ=Y|Ĉ=p)=p、可靠性图（校准曲线）、ECE/MCE/class-wise ECE/Brier/NLL（ECE 非 proper scoring rule，须与 NLL 同报）的评估体系，到参数化缩放谱系（Platt/Isotonic/Vector/Matrix/Temperature Scaling——单标量 T 保留 argmax 与 AUC 的性价比之王）、训练期标签平滑/数据增强/蒸馏反而放大过自信的反作用、以及 MC Dropout/Deep Ensemble/Conformal Prediction 对真实不确定性（认知+偶然）的建模。深入温度缩放实战（在独立验证集、eval 模式、fp32 下拟合 T>1）、12 项生产陷阱清单（训练集泄漏、未 eval、低精度、bin 数、类别不平衡、OOD 检测、多任务、漂移）与可复现 PyTorch 工具箱。与本站 损失函数、正则化、激活函数、RMSNorm、相对位置编码、交叉注意力、残差连接、学习率调度、梯度累积、词嵌入 共同构成 Transformer 内部机制与训练工程深度解系列（补全输出可靠性一环），并与 成员推断/模型提取攻击 共享"置信度"这一攻防面（校准是一把双刃剑）。
大语言模型 2026年10月09日
正则化深度实战：从权重衰减、Dropout 到早停、数据增强与 Stochastic Depth 的训练工程全解

正则化深度实战：从权重衰减、Dropout 到早停、数据增强与 Stochastic Depth 的训练工程全解

系统拆解正则化的第一性原理：从经验风险到期望风险的泛化间隙、约束/惩罚优化的统一框架；深入权重衰减与 L2 的本质及 AdamW 的"解耦"陷阱（L2 被二阶动量缩放导致衰减失真），并给出"norm 层与 bias 不衰减"的生产级参数分组实现；讲清 Dropout 的反转（inverted）机制与训练/推理鸿沟（忘记 eval() 的高频事故）、Dropout 与 BatchNorm 的冲突；揭示早停与权重衰减的对偶性（早停等价于隐式 L2）与回滚最佳权重的重要性；从隐式正则视角解读数据增强（Mixup/CutMix/RandAugment）及其与标签平滑的桥接；进阶覆盖 Stochastic Depth（DropPath）、模型 EMA 与 SWA；梳理正则手段的协同与冲突（权重衰减×BN、Dropout×BN、增强×统计量、衰减×预热），给出 12 项生产陷阱清单与可复现 PyTorch 正则工具箱。与本站 RMSNorm、相对位置编码、交叉注意力、残差连接、学习率调度、梯度累积、词嵌入、激活函数、损失函数共同构成 Transformer 内部机制与训练工程深度解系列（补全泛化控制一环）。
大语言模型 2026年10月09日
后门攻击深度实战：从触发器植入、BadNets 到干净标签后门与谱防御的工程全解

后门攻击深度实战：从触发器植入、BadNets 到干净标签后门与谱防御的工程全解

后门攻击（Neural Backdoor Attack，亦常称 Trojan Attack）是机器学习安全中一类与数据投毒高度相关却目标迥异的攻击：攻击者在模型**训练阶段**（或预训练权重、第三方供应链环节）植入一个隐藏的「触发器（trigger）」映射，使得模型在面对正常输入时保持高精度，而一旦输入携带特定触发器，模型便按攻击者预设的目标标签输出。它不追求在干净样本上降低整体准确率，而是追求「…
大语言模型 2026年10月09日
数据投毒攻击深度实战：从标签翻转、干净标签投毒到触发式后门与供应链投毒的攻防工程

数据投毒攻击深度实战：从标签翻转、干净标签投毒到触发式后门与供应链投毒的攻防工程

数据投毒（Data Poisoning）是机器学习系统面临的一类根本性供给链威胁：攻击者在模型训练之前或训练过程中，向训练集注入精心构造的恶意样本，使最终模型在干净数据上表现正常、却在攻击者指定的输入上失效或按攻击者意图决策。与对抗样本（推理时扰动）、成员推断（隐私窃取）不同，投毒攻击的破坏发生在"信任边界的更上游"——它污染的是模型赖以学习的事实本身。本文从第一性原理出发，系统拆解标签翻转、特征…
大语言模型 2026年10月08日