大语言模型推理部署优化：从KV Cache到张量并行的工程实践
深入探讨LLM推理部署中的核心优化技术，包括KV Cache管理、张量并行、量化压缩和批处理策略
模型部署
边缘计算与端侧智能部署深度实践：从云端协同到实时推理的架构演进
本文从架构原理出发，系统讲解边缘计算的三层架构体系（云-边-端），深入剖析端侧AI部署的核心技术栈（模型压缩、量化、推理框架选型），并以工业缺陷检测为实战案例，展示如何在NVIDIA Jetson平台上完成从训练到部署的全流程。文章还探讨了边缘计算面临的资源受限、网络不稳定和大规模节点管理等挑战，并展望了端侧LLM和6G融合的未来趋势。
边缘端模型推理优化：量化与张量分解的协同加速实战
深度解析边缘设备上大型AI模型推理加速的协同优化策略。从模型量化（GPTQ/AWQ/SmoothQuant）到张量分解（SVD/Tucker/CP），再到硬件感知编译优化，全面覆盖端侧推理的技术栈与实践要点。
大模型推理优化的工程实践：从 KV Cache 管理到量化部署的深度解析
深入解析大模型推理优化的五大核心技术：KV Cache 管理策略、连续批处理调度、模型量化压缩（GPTQ/AWQ/FP8）、推测解码算法以及硬件感知部署架构设计
