端侧AI推理加速:NPU架构演进与TensorRT/ONNX Runtime移动端部署优化 深入剖析端侧AI推理的NPU架构演进(Apple/Qualcomm/MediaTek)、模型量化技术(PTQ/QAT/混合精度)与TensorRT/ONNX Runtime移动端部署优化策略,涵盖EE Provider抽象与跨平台推理最佳实践。 服务器运维 2026年09月23日 0 点赞 0 评论 73 浏览
推理引擎的编译优化:从计算图到高效执行 深入解析现代推理引擎的编译优化技术:计算图IR、算子融合策略、常量折叠、静态内存规划、CUDA Graph捕获和调度并行,涵盖TensorRT-LLM、vLLM、llama.cpp等主流引擎的编译实践。 编译原理 2026年09月30日 0 点赞 0 评论 92 浏览
ARM64 Memory Tagging Extension (MTE) 在 AI 推理引擎中的内存安全加固工程实践 深度解析ARM64 MTE硬件机制及其在AI推理引擎C++插件中的内存安全加固实践,包含编译器插桩、TensorRT插件工程应用、性能实测与PAC/BTI协同防御体系 Web安全 2026年10月07日 0 点赞 0 评论 48 浏览