vLLM与TGI：推理服务框架选型

vLLM与TGI：推理服务框架选型概览vLLM 以 PagedAttention 与高效 KV 管理提升并发；TGI（Text Generation Inference）稳定易用，适配多模型与硬件。技术参数（已验证）PagedAttention：分页管理 KV 缓存，提升长序列并发。调度：二者支持批处理与并发队列，需结合业务指标调优吞吐与延迟。硬件：GPU/CPU 支持差异与插件生态，需要基于实际环境评估。实战清单按序列长度与并发模式选择框架；对长上下文与高并发偏向 vLLM。建立观测与压测，优化批量与队列参数。