大模型蒸馏与小型化深度工程实战：从 Logit、中间特征对齐到合成数据流水线的生产级全解
拆解大模型蒸馏的四类知识表示（Logit/特征/关系/偏好）、温度与梯度 T^2 刻度的真实数学、中间层维度不匹配的投影对齐与关系蒸馏、在线自蒸馏的算力权衡，以及决定蒸馏上限的合成数据流水线：种子分层、拒绝采样验证器、MinHash 去重、难度课程化与评测去污染，附 PyTorch 可运行代码与生产陷阱清单。
投稿
微信公众账号
微信扫一扫加关注
顶部