大语言模型
大模型微调实战：从LoRA到QLoRA的高效参数微调技术
深入讲解大模型高效参数微调技术，涵盖LoRA、QLoRA、数据准备和训练工具链
模型逆向攻击深度实战：从置信度最大化、生成式先验到训练数据重建的隐私安全工程
模型逆向攻击（Model Inversion Attack）是机器学习隐私威胁谱系里最容易被低估、却最贴近"数据隐私"本质的一类攻击：攻击者并不想复制你的模型，也不只想判断某条记录是否参与过训练，而是要**从模型的输出反推出训练数据本身**——一个人的基因型、一张人脸、一条医疗记录。本文从第一性原理出发，拆解模型逆向的数学内核，复现从 Fredrikson 基因组隐私到 Secret Sharer…
后门攻击深度实战：从触发器植入、BadNets 到干净标签后门与谱防御的工程全解
后门攻击（Neural Backdoor Attack，亦常称 Trojan Attack）是机器学习安全中一类与数据投毒高度相关却目标迥异的攻击：攻击者在模型**训练阶段**（或预训练权重、第三方供应链环节）植入一个隐藏的「触发器（trigger）」映射，使得模型在面对正常输入时保持高精度，而一旦输入携带特定触发器，模型便按攻击者预设的目标标签输出。它不追求在干净样本上降低整体准确率，而是追求「…
模型提取与盗取攻击深度实战：从黑盒 Prediction API 到替代模型克隆与参数反解的安全工程
机器学习即服务（MLaaS）把训练好的模型包装成一个"提问—返回预测"的 API：你传入一条样本，它吐回类别标签或置信度。这种**黑盒**便利的背后藏着一条被长期低估的攻击面——**模型提取（Model Extraction）/ 模型盗取（Model Theft）**：攻击者仅凭查询权限，就能重建出与原模型功能等价、甚至参数完全一致的克隆，从而免费"白嫖"商业模型、绕开付费墙、或为后续对抗攻击铺路…
词嵌入深度实战：从分布假设、Word2Vec 负采样到 GloVe 与上下文化表示的工程全解
词嵌入（Word Embedding）是把离散符号映射为连续稠密向量的技术，它是一切现代 NLP 与 LLM 的底层地基：Transformer 的第一层就是一个巨大的嵌入查找表，检索式增强（RAG）的"语义向量"本质也是嵌入，甚至连多模态对齐都依赖共享嵌入空间。本文从分布假设的第一性原理出发，推导 Word2Vec 负采样与 GloVe 的数学，给出可复现的 PyTorch 实现，并落到 Tra…
大语言模型高效微调实战：从LoRA到QLoRA——参数高效微调技术全景解析
深度解析大语言模型高效微调技术：从LoRA的低秩适应理论到QLoRA的量化创新，全面覆盖AdaLoRA、DoRA、PiSSA等变体家族，以及LoRA Hub多适配器服务架构与企业级实战指南。
LLM推理部署实战：从模型优化到生产级服务
深入讲解大语言模型推理部署完整技术栈：模型量化、推理框架选型(PagedAttention/TensorRT-LLM)、KV Cache优化、动态批处理及生产级部署架构
残差连接深度实战：从退化问题与恒等映射、残差流到 Pre-LN 与深度初始化工程
系统拆解残差连接的第一性原理：为何 plain 网络会退化、恒等映射 y=F(x)+x 如何在反向传播中保留永不消失的梯度高速通道（∂L/∂x = ∂L/∂y·(∂F/∂x + I)），并从机制可解释性视角解读 Transformer 的残差流（注意力/MLP 只是写入主干的低秩扰动）；深入 Pre-LN 与 Post-LN 的稳定性对比、ReZero/SkipInit/Fixup/LayerScale/DeepNorm 等深度初始化技巧、混合精度下残差累加的数值稳定性，给出可切换 Pre/Post-LN 的生产级 PyTorch 实现与生产陷阱清单，与本站 RMSNorm、相对位置编码、交叉注意力、学习率调度共同构成 Transformer 内部机制与训练工程深度解系列。
相对位置编码深度实战：从绝对位置嵌入、T5 相对注意力、ALiBi 到 DeBERTa 解耦位置表示
Transformer 的自注意力对 token 顺序是**置换不变**的：把输入序列打乱，注意力矩阵只会在行/列上跟着重排，输出集合不变。这意味着如果不显式注入顺序信号，模型看到 "猫 吃 鱼" 与 "鱼 吃 猫" 会得到完全相同的语义表征——这在实际任务里是灾难。
Prompt Engineering深度实战：从基础技巧到高级范式
本文深入探讨Prompt Engineering的核心技术与实战应用，从基础的零样本、少样本提示，到思维链（CoT）、ReAct、自洽性等高级范式，涵盖提示词注入防御与安全实践，帮助开发者掌握与LLM高效协作的关键技能。
Prompt Engineering 系统化工程实战：从链式推理到生产级部署
系统解构 Prompt Engineering 的核心解剖结构、链式推理（CoT/ToT/ReAct）、结构化输出与 Function Calling、元 Prompt 自优化、生产环境 Prompt 管理与 AB 测试、Prompt 注入攻防实战、缓存成本优化，附完整代码示例与最佳实践。
Dropout 深度实战：从子网络集成、Inverted Dropout 到 DropPath 与 MC Dropout 的生产工程
Dropout 是深度学习里最反直觉、也最容易被误用的正则化手段之一。它在 2012 年以 "Improving neural networks by preventing co-adaptation of feature detectors" 提出，核心思想只有一句话：**在训练时随机"丢弃"一部分神经元，迫使网络不能在固定的神经元组合上抱团作弊**。本文从第一性原理出发，把 Dropout 的…
正则化深度实战：从权重衰减、Dropout 到早停、数据增强与 Stochastic Depth 的训练工程全解
系统拆解正则化的第一性原理：从经验风险到期望风险的泛化间隙、约束/惩罚优化的统一框架；深入权重衰减与 L2 的本质及 AdamW 的"解耦"陷阱（L2 被二阶动量缩放导致衰减失真），并给出"norm 层与 bias 不衰减"的生产级参数分组实现；讲清 Dropout 的反转（inverted）机制与训练/推理鸿沟（忘记 eval() 的高频事故）、Dropout 与 BatchNorm 的冲突；揭示早停与权重衰减的对偶性（早停等价于隐式 L2）与回滚最佳权重的重要性；从隐式正则视角解读数据增强（Mixup/CutMix/RandAugment）及其与标签平滑的桥接；进阶覆盖 Stochastic Depth（DropPath）、模型 EMA 与 SWA；梳理正则手段的协同与冲突（权重衰减×BN、Dropout×BN、增强×统计量、衰减×预热），给出 12 项生产陷阱清单与可复现 PyTorch 正则工具箱。与本站 RMSNorm、相对位置编码、交叉注意力、残差连接、学习率调度、梯度累积、词嵌入、激活函数、损失函数共同构成 Transformer 内部机制与训练工程深度解系列（补全泛化控制一环）。
