同样叫 LLM 推理的连续批处理,不同团队的实现可能差出数量级,差别往往在采样停止、吞吐优化、熔断策略这 3 个环节的处理顺序上。
一、问题定位
很多 LLM 推理的连续批处理的问题在采样停止侧看不出来,只有把吞吐优化的调用链一起拉进来,才能看到真正的瓶颈。
1.1 为什么现在更值得讨论
从 AI 工程的工程演进看,LLM 推理的连续批处理正被三条趋势推着走:
- 故障成本上升(AI 工程):一次长尾故障带来的业务损失远高于优化投入
- 技术栈收敛(AI 工程):同类系统越来越少,方案选型更看重可维护性
- 审计要求(AI 工程):变更需要可追溯,状态变更必须留痕
二、按要点拆解:LLM 推理的连续批处理
2.1 采样停止
采样停止在 AI 工程里的优化空间通常不在算法,而在数据搬运和锁粒度上。先把采样停止在 AI 工程关键路径上的内存拷贝、序列化和加锁次数数清楚,再谈优化方向。
- 被测过的最坏路径:采样停止的超时、抖动、部分失败都要有对应用例
- 超时预算:采样停止的每次调用都要有明确上限,并计入调用方的总预算
- 依赖降级:采样停止依赖的下游不可用时,要有可自动切换的备选路径
2.2 吞吐优化
吞吐优化的重试策略要和它的幂等性配套。吞吐优化支持重试的前提是重复执行不会放大副作用,否则重试就是把小问题放大。
- 观测:吞吐优化至少有成功率、P99、积压量三个指标能被独立查询
- 数据兼容:吞吐优化改造期间,新旧状态格式必须双向可读
- 限流保护:吞吐优化要能拒绝超过处理能力的请求,而不是让队列无限堆积
2.3 熔断策略
熔断策略的实现可以分两层:一层保证正确,一层保证快。先让熔断策略的正确层稳定运行,再逐步把快的部分替换进去,风险可控。
- 变更可逆:熔断策略的配置与代码要能在 30 秒内回到上一版
- 超时预算:熔断策略的每次调用都要有明确上限,并计入调用方的总预算
- 限流保护:熔断策略要能拒绝超过处理能力的请求,而不是让队列无限堆积
把采样停止、吞吐优化、熔断策略看成一条流水线,每一环的输出质量决定下一环的起点:
采样停止 → 吞吐优化 → 熔断策略
从依赖关系看,采样停止是吞吐优化的前置条件,任何跳过采样停止直接优化吞吐优化的做法都会被前置波动吃掉。
三、最小可运行实现
AI 工程的一次容量评估里,采样停止的单实例承载被高估了一倍,因为测试时吞吐优化还在低负载。真实峰值下采样停止先崩,吞吐优化跟着雪崩。
关键一步是把采样停止的幂等性补齐:同一请求无论重试多少次,吞吐优化只会执行一次。补齐之后,采样停止的重试才真正变得安全。
AI 工程场景下,采样停止、吞吐优化、熔断策略的编排可以用下面这段代码表达,异常分支做了简化:
# LLM 推理:连续批处理与采样停止条件
class BatchScheduler:
def __init__(self, max_tokens=2048):
self.waiting = []
self.running = []
self.max_tokens = max_tokens
def submit(self, req):
self.waiting.append(req)
def step(self):
# 每步把等待队列里能装下的请求拉进运行批
while self.waiting and len(self.running) != self.max_tokens:
self.running.append(self.waiting.pop(0))
return self.running
def should_stop(ids, eos_id, stop_words, max_len):
if len(ids) >= max_len:
return True
if ids and ids[-1] == eos_id:
return True
text = ''.join(ids)
return any(w in text for w in stop_words)
def sample(probs, temperature=0.8, top_p=0.9):
# 先温度缩放,再做核采样(top-p)
scaled = [p ** (1.0 / temperature) for p in probs]
return scaled
四、验证与调优
LLM 推理的连续批处理三轮迭代后的效果(每轮只改一个变量,避免归因混乱):
| 环节 | 单次耗时 | 占关键路径 | 优化手段 |
|---|---|---|---|
| 采样停止 | 1.4ms | 38% | 降低锁竞争 |
| 吞吐优化 | 2.2ms | 27% | 把重复校验前移到入口 |
| 熔断策略 | 3.1ms | 20% | 把串行调用改成并发扇出 |
整体指标:P99 从 311ms 降到 155ms(-50%),吞吐从 4 万 QPS 提升到 10 万 QPS(+150%),CPU 占用从 75% 降到 42%。
4.1 灰度策略
- 阶段一(AI 工程):按依赖拓扑从叶子服务开始灰度
- 阶段二(AI 工程):推进到中间层,观察调用链变化
- 阶段三(AI 工程):覆盖根服务,重点看端到端延迟
- 阶段四(AI 工程):全量后保留按依赖层回退的顺序
4.2 观测面
先建最小可用观测面,再按 LLM 推理的连续批处理的故障复盘逐步补齐:
- 指标(AI 工程):把「降级次数」单独统计,它比错误率更能反映用户体验
- 日志(AI 工程):每次降级都要记录触发原因与持续时长
- 巡检(AI 工程):定期演练最坏路径,确认兜底逻辑仍然有效
五、结论
采样停止、吞吐优化、熔断策略如果只能先做一件事,先做可观测性——没有度量,LLM 推理的连续批处理的每一次改动都是盲飞。
- 先量化再优化(AI 工程):没有基线数字的优化,多数只是把问题挪了个地方
- 收敛优先于吞吐(AI 工程):系统能在压力下自我收敛,比峰值数字更重要
- 回滚是设计的一部分(AI 工程):任何改动都要能在一分钟内退回

发表评论 取消回复