同样叫 LLM 推理的连续批处理,不同团队的实现可能差出数量级,差别往往在采样停止、吞吐优化、熔断策略这 3 个环节的处理顺序上。

一、问题定位

很多 LLM 推理的连续批处理的问题在采样停止侧看不出来,只有把吞吐优化的调用链一起拉进来,才能看到真正的瓶颈。

1.1 为什么现在更值得讨论

从 AI 工程的工程演进看,LLM 推理的连续批处理正被三条趋势推着走:

  • 故障成本上升(AI 工程):一次长尾故障带来的业务损失远高于优化投入
  • 技术栈收敛(AI 工程):同类系统越来越少,方案选型更看重可维护性
  • 审计要求(AI 工程):变更需要可追溯,状态变更必须留痕

二、按要点拆解:LLM 推理的连续批处理

2.1 采样停止

采样停止在 AI 工程里的优化空间通常不在算法,而在数据搬运和锁粒度上。先把采样停止在 AI 工程关键路径上的内存拷贝、序列化和加锁次数数清楚,再谈优化方向。

  • 被测过的最坏路径:采样停止的超时、抖动、部分失败都要有对应用例
  • 超时预算:采样停止的每次调用都要有明确上限,并计入调用方的总预算
  • 依赖降级:采样停止依赖的下游不可用时,要有可自动切换的备选路径

2.2 吞吐优化

吞吐优化的重试策略要和它的幂等性配套。吞吐优化支持重试的前提是重复执行不会放大副作用,否则重试就是把小问题放大。

  • 观测:吞吐优化至少有成功率、P99、积压量三个指标能被独立查询
  • 数据兼容:吞吐优化改造期间,新旧状态格式必须双向可读
  • 限流保护:吞吐优化要能拒绝超过处理能力的请求,而不是让队列无限堆积

2.3 熔断策略

熔断策略的实现可以分两层:一层保证正确,一层保证快。先让熔断策略的正确层稳定运行,再逐步把快的部分替换进去,风险可控。

  • 变更可逆:熔断策略的配置与代码要能在 30 秒内回到上一版
  • 超时预算:熔断策略的每次调用都要有明确上限,并计入调用方的总预算
  • 限流保护:熔断策略要能拒绝超过处理能力的请求,而不是让队列无限堆积

把采样停止、吞吐优化、熔断策略看成一条流水线,每一环的输出质量决定下一环的起点:

采样停止 → 吞吐优化 → 熔断策略

从依赖关系看,采样停止是吞吐优化的前置条件,任何跳过采样停止直接优化吞吐优化的做法都会被前置波动吃掉。

三、最小可运行实现

AI 工程的一次容量评估里,采样停止的单实例承载被高估了一倍,因为测试时吞吐优化还在低负载。真实峰值下采样停止先崩,吞吐优化跟着雪崩。

关键一步是把采样停止的幂等性补齐:同一请求无论重试多少次,吞吐优化只会执行一次。补齐之后,采样停止的重试才真正变得安全。

AI 工程场景下,采样停止、吞吐优化、熔断策略的编排可以用下面这段代码表达,异常分支做了简化:

# LLM 推理:连续批处理与采样停止条件
class BatchScheduler:
    def __init__(self, max_tokens=2048):
        self.waiting = []
        self.running = []
        self.max_tokens = max_tokens

    def submit(self, req):
        self.waiting.append(req)

    def step(self):
        # 每步把等待队列里能装下的请求拉进运行批
        while self.waiting and len(self.running) != self.max_tokens:
            self.running.append(self.waiting.pop(0))
        return self.running

def should_stop(ids, eos_id, stop_words, max_len):
    if len(ids) >= max_len:
        return True
    if ids and ids[-1] == eos_id:
        return True
    text = ''.join(ids)
    return any(w in text for w in stop_words)

def sample(probs, temperature=0.8, top_p=0.9):
    # 先温度缩放,再做核采样(top-p)
    scaled = [p ** (1.0 / temperature) for p in probs]
    return scaled

四、验证与调优

LLM 推理的连续批处理三轮迭代后的效果(每轮只改一个变量,避免归因混乱):

环节单次耗时占关键路径优化手段
采样停止1.4ms38%降低锁竞争
吞吐优化2.2ms27%把重复校验前移到入口
熔断策略3.1ms20%把串行调用改成并发扇出

整体指标:P99 从 311ms 降到 155ms(-50%),吞吐从 4 万 QPS 提升到 10 万 QPS(+150%),CPU 占用从 75% 降到 42%。

4.1 灰度策略

  • 阶段一(AI 工程):按依赖拓扑从叶子服务开始灰度
  • 阶段二(AI 工程):推进到中间层,观察调用链变化
  • 阶段三(AI 工程):覆盖根服务,重点看端到端延迟
  • 阶段四(AI 工程):全量后保留按依赖层回退的顺序

4.2 观测面

先建最小可用观测面,再按 LLM 推理的连续批处理的故障复盘逐步补齐:

  • 指标(AI 工程):把「降级次数」单独统计,它比错误率更能反映用户体验
  • 日志(AI 工程):每次降级都要记录触发原因与持续时长
  • 巡检(AI 工程):定期演练最坏路径,确认兜底逻辑仍然有效

五、结论

采样停止、吞吐优化、熔断策略如果只能先做一件事,先做可观测性——没有度量,LLM 推理的连续批处理的每一次改动都是盲飞。

  • 先量化再优化(AI 工程):没有基线数字的优化,多数只是把问题挪了个地方
  • 收敛优先于吞吐(AI 工程):系统能在压力下自我收敛,比峰值数字更重要
  • 回滚是设计的一部分(AI 工程):任何改动都要能在一分钟内退回

点赞(0) 打赏

评论列表 共有 0 条评论

暂无评论
立即
投稿

微信公众账号

微信扫一扫加关注

发表
评论
返回
顶部