边缘智能新范式:TinyML 与边缘 AI 推理引擎的架构设计与工程实践 深入剖析边缘AI推理引擎的完整工程化路径:从TinyML基础概念到微控制器上的模型部署,涵盖INT8/FP16量化压缩、算子级优化、内存约束下的图编译策略、CMSIS-NN与Ethos-U NPU加速推理,并通过CIFAR-10分类器与关键词唤醒实战展示端到端推理流水线 IoT边缘计算 2026年10月12日 0 点赞 0 评论 88 浏览
MLIR 编译器基础设施:多级中间表示与 AI/ML 系统编译的全栈工程 MLIR 通过可组合方言体系解决传统编译器的语义下降悬崖问题,成为 TensorFlow/XLA、PyTorch inductor、oneAPI、Triton 等 AI 基础设施核心编译层。本文深入 MLIR 设计哲学、核心方言体系、Lowering 流水线、Pass 基础设施,并提供自定义 Pass 开发和 NPU 优化实战案例。 编译原理 2026年10月07日 0 点赞 0 评论 50 浏览
推理引擎的编译优化:从计算图到高效执行 深入解析现代推理引擎的编译优化技术:计算图IR、算子融合策略、常量折叠、静态内存规划、CUDA Graph捕获和调度并行,涵盖TensorRT-LLM、vLLM、llama.cpp等主流引擎的编译实践。 编译原理 2026年09月30日 0 点赞 0 评论 89 浏览
MLIR 编译器多级中间表示框架深度解析:从 Dialect 设计到 AI 编译优化 深度解析 MLIR 编译器框架——从 Dialect 可扩展架构、渐进式降级管线、算子融合与循环优化,到 IREE/Torch-MLIR/Triton 等 AI 编译实战 云计算DevOps 2026年09月20日 0 点赞 0 评论 14 浏览