大语言模型

Prompt Engineering深度实战:从基础技巧到高级范式

本文深入探讨Prompt Engineering的核心技术与实战应用,从基础的零样本、少样本提示,到思维链(CoT)、ReAct、自洽性等高级范式,涵盖提示词注入防御与安全实践,帮助开发者掌握与LLM高效协作的关键技能。

推荐系统深度实战:从协同过滤、召回排序到深度学习与多目标精排的工程全解

> 推荐系统是现代互联网最隐秘也最赚钱的 AI 应用:它不直接"生成"内容,却决定了用户看到的世界。从抖音的沉浸式 feed,到电商的"猜你喜欢",再到广告的精准投放,背后都是一套精密的多阶段漏斗。本文从第一性原理拆解推荐系统的四阶段范式,给出协同过滤、向量召回、Wide&Deep / DeepFM 排序与重排的可落地实现,并附上一份可直接对照的生产陷阱清单。

分组查询注意力(GQA)与多查询注意力(MQA)深度实战:从 KV 缓存瓶颈、头维度折叠到推理吞吐与显存占用的工程全解

> 自回归大模型推理的真实瓶颈,往往不在算力而在**显存带宽与 KV 缓存占用**。当模型层数、上下文长度、并发数同时放大,多头注意力(MHA)为每个查询头都保留一份独立的 Key/Value,KV 缓存体积随头数线性膨胀,最终把解码速度牢牢钉在 HBM 带宽上限上。分组查询注意力(Grouped Query Attention, GQA)与多查询注意力(Multi-Query Attention…

不确定性校准深度实战:从可靠性图、ECE 到温度缩放与贝叶斯校准的工程全解

系统拆解模型校准的第一性原理:为什么高准确率网络普遍过自信、区分度与校准度解耦;从完美校准定义 P(Ŷ=Y|Ĉ=p)=p、可靠性图(校准曲线)、ECE/MCE/class-wise ECE/Brier/NLL(ECE 非 proper scoring rule,须与 NLL 同报)的评估体系,到参数化缩放谱系(Platt/Isotonic/Vector/Matrix/Temperature Scaling——单标量 T 保留 argmax 与 AUC 的性价比之王)、训练期标签平滑/数据增强/蒸馏反而放大过自信的反作用、以及 MC Dropout/Deep Ensemble/Conformal Prediction 对真实不确定性(认知+偶然)的建模。深入温度缩放实战(在独立验证集、eval 模式、fp32 下拟合 T>1)、12 项生产陷阱清单(训练集泄漏、未 eval、低精度、bin 数、类别不平衡、OOD 检测、多任务、漂移)与可复现 PyTorch 工具箱。与本站 损失函数、正则化、激活函数、RMSNorm、相对位置编码、交叉注意力、残差连接、学习率调度、梯度累积、词嵌入 共同构成 Transformer 内部机制与训练工程深度解系列(补全输出可靠性一环),并与 成员推断/模型提取攻击 共享"置信度"这一攻防面(校准是一把双刃剑)。