边缘智能新范式:TinyML 与边缘 AI 推理引擎的架构设计与工程实践 深入剖析边缘AI推理引擎的完整工程化路径:从TinyML基础概念到微控制器上的模型部署,涵盖INT8/FP16量化压缩、算子级优化、内存约束下的图编译策略、CMSIS-NN与Ethos-U NPU加速推理,并通过CIFAR-10分类器与关键词唤醒实战展示端到端推理流水线 IoT边缘计算 2026年10月12日 0 点赞 0 评论 88 浏览
大语言模型推理部署优化:从KV Cache到张量并行的工程实践 深入探讨LLM推理部署中的核心优化技术,包括KV Cache管理、张量并行、量化压缩和批处理策略 推理部署 2026年10月13日 0 点赞 0 评论 46 浏览
边缘端模型推理优化:量化与张量分解的协同加速实战 深度解析边缘设备上大型AI模型推理加速的协同优化策略。从模型量化(GPTQ/AWQ/SmoothQuant)到张量分解(SVD/Tucker/CP),再到硬件感知编译优化,全面覆盖端侧推理的技术栈与实践要点。 推理部署 2026年10月15日 0 点赞 0 评论 20 浏览
大模型推理优化的工程实践:从 KV Cache 管理到量化部署的深度解析 深入解析大模型推理优化的五大核心技术:KV Cache 管理策略、连续批处理调度、模型量化压缩(GPTQ/AWQ/FP8)、推测解码算法以及硬件感知部署架构设计 推理部署 2026年10月18日 0 点赞 0 评论 18 浏览