机器学习

MLIR 多层次中间表示:构建领域专用编译器的深度实践

MLIR通过方言(Dialect)机制,让编译器基础设施能够同时保留高层张量语义和底层硬件特性,实现从AI模型到芯片指令的无缝lowering。本文深入剖析MLIR核心架构,并通过构建完整的张量计算Dialect,展示如何用C++和TableGen实现多级IR转换管线。

大模型蒸馏与小型化深度工程实战:从 Logit、中间特征对齐到合成数据流水线的生产级全解

拆解大模型蒸馏的四类知识表示(Logit/特征/关系/偏好)、温度与梯度 T^2 刻度的真实数学、中间层维度不匹配的投影对齐与关系蒸馏、在线自蒸馏的算力权衡,以及决定蒸馏上限的合成数据流水线:种子分层、拒绝采样验证器、MinHash 去重、难度课程化与评测去污染,附 PyTorch 可运行代码与生产陷阱清单。