LLM 推理优化（Batching、Cache、Speculative Decoding 与验证）

# LLM 推理优化（Batching、Cache、Speculative Decoding 与验证） ## 关键实践与参数 - Batching：合并请求批量处理；控制最大 `batch_size` 与排队延迟。 - Cache：提示与 KV 缓存复用；命中率与 TTL 策略。 - Speculative Decoding：引入小模型预测与回退；评估命中与回退成本。 - 并发与资源：GPU/CPU 利用率与线程池；限流与背压。 ## 验证方法 - 压测 p95/p99 与吞吐；对比优化前后指标。 - 命中率与回退统计；评估总体收益与稳定性。 - 观测显存与内存占用，设置告警与容量规划。 ## 注意事项 - 一致性与质量保障；推测失败需快速回退。 - 安全与隐私：提示与输出脱敏；日志最小化。 - 成本治理：结合 FinOps 优化资源与预算。