边缘AI部署革命：在手机和IoT设备上运行大模型的工程实战 从云端到边缘：AI推理在手机和IoT设备上的部署革命，详解量化、投机解码与端侧框架选型 机器学习 2026年11月01日 0 点赞 0 评论 31 浏览
大语言模型推理部署实战：从vLLM到TensorRT-LLM 深入拆解LLM推理部署全链路技术栈，涵盖KV Cache管理、Continuous Batching、量化技术、投机解码等核心优化手法，对比vLLM、TensorRT-LLM、TGI、llama.cpp、SGLang等主流框架，包含生产环境部署架构设计与性能调优实战。 推理部署 2026年10月17日 0 点赞 0 评论 20 浏览
