人工智能
  1. 首页
  2. 人工智能

列表

残差连接深度实战：从退化问题与恒等映射、残差流到 Pre-LN 与深度初始化工程

残差连接深度实战：从退化问题与恒等映射、残差流到 Pre-LN 与深度初始化工程

系统拆解残差连接的第一性原理：为何 plain 网络会退化、恒等映射 y=F(x)+x 如何在反向传播中保留永不消失的梯度高速通道（∂L/∂x = ∂L/∂y·(∂F/∂x + I)），并从机制可解释性视角解读 Transformer 的残差流（注意力/MLP 只是写入主干的低秩扰动）；深入 Pre-LN 与 Post-LN 的稳定性对比、ReZero/SkipInit/Fixup/LayerScale/DeepNorm 等深度初始化技巧、混合精度下残差累加的数值稳定性，给出可切换 Pre/Post-LN 的生产级 PyTorch 实现与生产陷阱清单，与本站 RMSNorm、相对位置编码、交叉注意力、学习率调度共同构成 Transformer 内部机制与训练工程深度解系列。
大语言模型 2026年10月08日
模型提取与盗取攻击深度实战：从黑盒 Prediction API 到替代模型克隆与参数反解的安全工程

模型提取与盗取攻击深度实战：从黑盒 Prediction API 到替代模型克隆与参数反解的安全工程

机器学习即服务（MLaaS）把训练好的模型包装成一个"提问—返回预测"的 API：你传入一条样本，它吐回类别标签或置信度。这种**黑盒**便利的背后藏着一条被长期低估的攻击面——**模型提取（Model Extraction）/ 模型盗取（Model Theft）**：攻击者仅凭查询权限，就能重建出与原模型功能等价、甚至参数完全一致的克隆，从而免费"白嫖"商业模型、绕开付费墙、或为后续对抗攻击铺路…
大语言模型 2026年10月08日
激活函数深度实战：从 ReLU、GELU 的数值稳定性到 SwiGLU / GeGLU 与融合 Kernel 的生产工程

激活函数深度实战：从 ReLU、GELU 的数值稳定性到 SwiGLU / GeGLU 与融合 Kernel 的生产工程

系统拆解激活函数的第一性原理：为什么非线性不可或缺、ReLU 的死亡神经元问题与改进族（LeakyReLU/ELU/SELU），GELU 精确版与 tanh/sigmoid 近似的数值稳定性权衡，再到 SwiGLU/GeGLU 门控线性单元取代 GELU-then-Linear 的设计哲学与维度对齐约束，并深入低精度（FP8）下激活行为差异、GELU exact/approx 混用陷阱与融合 Kernel 工程，给出可复用的 PyTorch 参考实现与 9 项生产陷阱清单，与本站 RMSNorm、相对位置编码、交叉注意力、残差连接、学习率调度、梯度累积、词嵌入共同构成 Transformer 内部机制与训练工程深度解系列（补全 FFN 块最后一环）。
大语言模型 2026年10月09日
损失函数深度实战：从交叉熵、标签平滑到 Focal Loss 与多任务损失的训练工程全解

损失函数深度实战：从交叉熵、标签平滑到 Focal Loss 与多任务损失的训练工程全解

系统拆解损失函数的第一性原理：为什么 0/1 损失不可导、所有可训练损失都是替代损失；从交叉熵的最大似然与 KL 散度推导、log_softmax 的数值稳定性，到标签平滑（ε 软化目标）、Focal Loss（聚焦难样本、α/γ 调参）、BCE+pos_weight 处理类别不平衡，再覆盖回归损失（MSE/MAE/Huber/Log-Cosh/分位）、带温度 KL 的蒸馏损失与基于同方差不确定性的多任务自适应加权，并给出 10 项生产陷阱清单（数值溢出、reduction 与梯度累积、ignore_index、混合精度、软标签类型、类别失衡、蒸馏冲突、多任务尺度失衡、NaN 检测、指标与 loss 解耦）与可复现 PyTorch 工具箱。与本站 RMSNorm、相对位置编码、交叉注意力、残差连接、学习率调度、梯度累积、词嵌入、激活函数共同构成 Transformer 内部机制与训练工程深度解系列（补全训练目标一环）。
大语言模型 2026年10月09日
量子计算2026：从NISQ时代到容错量子计算的关键转折

量子计算2026：从NISQ时代到容错量子计算的关键转折

深入分析2026年量子计算从NISQ时代到容错量子计算的技术转折，涵盖表面码纠错、逻辑量子比特突破、模块化架构、超导/离子阱/中性原子/拓扑四条技术路径、后量子密码标准部署与迁移实战，以及量子互联网与密码安全的协同演进。
AI应用与Agent 2026年10月08日
强化学习深度实战：从 MDP、Bellman 方程到 DQN、策略梯度与 PPO 的从零实现

强化学习深度实战：从 MDP、Bellman 方程到 DQN、策略梯度与 PPO 的从零实现

过去三年里，强化学习（Reinforcement Learning, RL）以一种近乎隐秘的方式重新站到了 AI 舞台中央：RLHF 用人类偏好作为奖励信号把大语言模型对齐到人类意图，推理时计算（test-time compute）本质是在 rollout 轨迹上用验证器引导搜索，智能体把工具调用建模成离散动作、把真实世界当成环境。可绝大多数工程师只见过"对齐"和"智能体"这两层皮，对 RL 的第…
大语言模型 2026年10月08日
词嵌入深度实战：从分布假设、Word2Vec 负采样到 GloVe 与上下文化表示的工程全解

词嵌入深度实战：从分布假设、Word2Vec 负采样到 GloVe 与上下文化表示的工程全解

词嵌入（Word Embedding）是把离散符号映射为连续稠密向量的技术，它是一切现代 NLP 与 LLM 的底层地基：Transformer 的第一层就是一个巨大的嵌入查找表，检索式增强（RAG）的"语义向量"本质也是嵌入，甚至连多模态对齐都依赖共享嵌入空间。本文从分布假设的第一性原理出发，推导 Word2Vec 负采样与 GloVe 的数学，给出可复现的 PyTorch 实现，并落到 Tra…
大语言模型 2026年10月08日
对抗训练深度实战：从 Min-Max 鲁棒优化、PGD-AT 到 TRADES 与认证鲁棒性的工程全解

对抗训练深度实战：从 Min-Max 鲁棒优化、PGD-AT 到 TRADES 与认证鲁棒性的工程全解

一个在干净样本上 99% 准确率的卷积网络，只要被贴上肉眼不可见的对抗扰动，预测就会瞬间翻车——这是 2014 年 Goodfellow 等人揭示的"对抗样本"现象，也是深度学习从实验室走向安全敏感场景（自动驾驶、金融风控、医疗影像）时绕不开的一道坎。本文不重复"攻击与防御"的通览，而是聚焦**对抗训练（Adversarial Training, AT）这一把模型从被动防御转为主动免疫的核心工程方…
大语言模型 2026年10月08日