大模型推理部署：从vLLM到TensorRT-LLM的高性能服务化

推理部署的挑战

大语言模型的推理部署面临三大难题：巨大的内存占用（70B模型需要140GB+显存）、低吞吐量（自回归生成导致长序列下效率低）、以及高响应延迟（KV cache管理和并行策略优化）。然而通过工程优化，可以实现从实验室模型到生产级服务的跨越。

显存优化技术

KV Cache存储了所有历史token的Key和Value向量，在长序列场景下显存占用巨大。PagedAttention（vLLM核心技术）借鉴操作系统虚拟内存的分页思想：KV cache不要求连续显存分配，而是按页动态分配——有效减少显存碎片和浪费。FP16推理将FP32模型转换减少50%显存占用，进一步可量化为INT8/INT4（GPTQ/AWQ方法）。

推理引擎对比

vLLM（PagedAttention+连续批处理）：吞吐高、易用性好、开源社区活跃——当前LLM推理部署首选。Text Generation Inference（TGI，Hugging Face出品）：生产级特性完善、指标导出齐全。TensorRT-LLM（NVIDIA）：利用TensorRT优化算子图和融合、在当前硬件上性能最高的推理引擎——但配置复杂构建时间长。llama.cpp/OLLama：CPU/GPU混合推理，适合个人用户快速验证。

服务化部署架构

LLM服务的独特挑战：Real-time加载模型（需要数百GB模型的秒级加载）、动态批处理（Continuous Batching，在新请求到达时插入正在生成的序列）、以及Prefix Caching（多个请求共享相同System prompt）。服务化方案包括：OpenAI兼容API、模型路由（根据请求类型分配到不同大小模型）、以及离线推理。

推理性能指标

核心性能四指标：TTFT（首Token生成时间，衡量用户体验）、TPOT（每Token生成时间）、Throughput（吞吐：每秒处理的Token数）、以及GPU利用率。优化手段：FlashAttention加速Attention计算、算子融合减少内核启动开销、以及张量/流水线并行最大化GPU利用率。