人工智能

大模型蒸馏与小型化深度工程实战:从 Logit、中间特征对齐到合成数据流水线的生产级全解

拆解大模型蒸馏的四类知识表示(Logit/特征/关系/偏好)、温度与梯度 T^2 刻度的真实数学、中间层维度不匹配的投影对齐与关系蒸馏、在线自蒸馏的算力权衡,以及决定蒸馏上限的合成数据流水线:种子分层、拒绝采样验证器、MinHash 去重、难度课程化与评测去污染,附 PyTorch 可运行代码与生产陷阱清单。

LLM Tokenizer 深度工程实战:从 BPE 合并算法、预分词正则到压缩率与多语言词表设计的生产级全解

拆解 LLM 分词器的工程内核:BPE 合并的增量训练实现、GPT-2 预分词正则的设计动机(数字为何三位一组)、字节级回退的边界处理、tiktoken 风格并行预分词与块边界一致性、压缩率与生育率的量化评估方法,附多语言词表设计与生产坑位清单。

AI Agent 记忆系统架构:为自主智能体构建长期记忆

深入解析 AI Agent 记忆系统架构:从工作记忆的 Context Window 管理,到情景记忆的事件日志与级联压缩,再到语义记忆的混合检索与知识图谱,以及程序性记忆的技能提炼。覆盖 Memory Consolidation、多 Agent 共享记忆、隐私合规与成本控制等工程实践。