请求抢占、抢占恢复、公平性 —— 连续批处理的调度优化的成败基本取决于这 3 个环节。下面从它们的耦合关系入手,再落到 AI 工程场景下的具体取舍。

一、问题定位

连续批处理的调度优化的典型故障曲线是这样的:先是一个可忍受的抖动,接着重试把抖动放大,最后请求抢占的补偿逻辑把局部问题扩散成面。真正需要设计的不是「不出错」,而是让连续批处理的调度优化「出错时影响面可控」。

1.1 为什么现在更值得讨论

放到 AI 工程的现状里,驱动力主要来自三方面:

  • 边界模糊化:服务之间的职责不再由部署位置决定
  • 流量形态多变:峰值、脉冲、常态化高负载交替出现
  • 故障传播加快:一个局部的异常可以在几分钟内扩散到全链路

二、按要点拆解:连续批处理的调度优化

2.1 请求抢占

请求抢占最贵的部分往往是失败处理:超时、退避、熔断、补偿,四件套缺一件,请求抢占在故障时的行为就不可预测。请求抢占的这部分代码量不大,但必须被显式测试。

  • 超时预算:请求抢占的每次调用都要有明确上限,并计入调用方的总预算
  • 依赖降级:请求抢占依赖的下游不可用时,要有可自动切换的备选路径
  • 状态可见:请求抢占的当前状态要能被外部查询,而不是只能靠日志反推

2.2 抢占恢复

抢占恢复的优化空间通常不在算法,而在数据搬运和锁粒度上。先把抢占恢复关键路径上的内存拷贝、序列化和加锁次数数清楚,再谈优化方向。

  • 超时预算:抢占恢复的每次调用都要有明确上限,并计入调用方的总预算
  • 变更可逆:抢占恢复的配置与代码要能在 30 秒内回到上一版
  • 幂等:抢占恢复被重复触发时结果一致,且不产生额外副作用

2.3 公平性

公平性的优化空间通常不在算法,而在数据搬运和锁粒度上。先把公平性关键路径上的内存拷贝、序列化和加锁次数数清楚,再谈优化方向。

  • 限流保护:公平性要能拒绝超过处理能力的请求,而不是让队列无限堆积
  • 版本标识:公平性的每次变更都要带版本,便于灰度期间对比效果
  • 文档同步:公平性的边界条件与默认值要写进仓库,而不是留在人脑里

把请求抢占、抢占恢复、公平性按依赖排开,就能看出优化该从哪里切入:

请求抢占 → 抢占恢复 → 公平性

链路里靠前的环节一旦不可用,后面抢占恢复的所有优化都会被抵消。这也是为什么先把请求抢占的边界做扎实,比堆性能数字更划算。

三、最小可运行实现

有一次 AI 工程的故障,表象是请求抢占超时率升高,实际根因在抢占恢复:它的一个后台任务在高峰期抢走了大部分连接,导致请求抢占拿不到资源。

我们先给请求抢占加了幂等键,再把抢占恢复的状态收敛到单一存储,最后补了一组覆盖部分失败的用例。改动不大,但把隐患按住了。

AI 工程场景下,这部分的核心逻辑可以简化成下面这样:

# RAG:混合检索、重排序与上下文压缩的工程实现
from dataclasses import dataclass

@dataclass
class Chunk:
    doc_id: str
    text: str
    dense_score: float = 0.0   # 向量召回分
    bm25_score: float = 0.0    # 关键词召回分

def normalize(scores):
    """min-max 归一化,避免不同召回器的量纲不可比"""
    lo, hi = min(scores), max(scores)
    span = (hi - lo) or 1.0
    return [(s - lo) / span for s in scores]

def hybrid_retrieve(chunks, top_k=20, w_dense=0.6, w_bm25=0.4):
    """混合检索:向量召回保语义,BM25 保精确词命中"""
    dn = normalize([c.dense_score for c in chunks])
    bn = normalize([c.bm25_score for c in chunks])
    for c, d, b in zip(chunks, dn, bn):
        c.dense_score, c.bm25_score = d, b
    ranked = sorted(chunks,
                    key=lambda c: w_dense * c.dense_score + w_bm25 * c.bm25_score,
                    reverse=True)
    return ranked[:top_k]

def rerank_and_compress(ranked, max_tokens=4096, budget=0.7):
    """重排序后按 Token 预算做上下文压缩,兼顾相关性与长度"""
    picked, used = [], 0
    limit = int(max_tokens * budget)
    for c in ranked[:8]:
        cost = len(c.text) // 4  # 粗略 Token 估算
        if used + cost >= limit:
            break
        picked.append(c.doc_id)
        used += cost
    return picked, used

四、验证与调优

三轮迭代后的效果(每轮只改一个变量,避免归因混乱):

环节单次耗时占关键路径优化手段
请求抢占0.6ms38%把同步等待改成批量合并
抢占恢复1.0ms27%降低锁竞争
公平性1.3ms20%预分配缓冲区避免扩容

整体指标:P99 从 299ms 降到 176ms(-41%),吞吐从 5 万 QPS 提升到 10 万 QPS(+100%),CPU 占用从 74% 降到 51%。

4.1 灰度策略

  • 阶段一:单可用区灰度,先验证单点行为是否符合预期
  • 阶段二:跨可用区 5% 流量,观察跨区调用与时钟偏差的影响
  • 阶段三:50% 流量并叠加一次故障注入(杀掉三分之一实例)
  • 阶段四:全量后保留旧路径开关两周,确认无回归再下线

4.2 观测面

观测的重点不是收集数据,而是让故障能被快速定位:

  • 指标:成功率、P99、积压量、重试次数,四个指标能覆盖大部分故障定位
  • 日志:结构化输出并带请求 ID,保证一次请求的全链路可串起来
  • 链路:只采关键路径,采样率随错误率动态提高

五、结论

请求抢占、抢占恢复、公平性如果只能先做一件事,先做可观测性——没有度量,连续批处理的调度优化的每一次改动都是盲飞。

  • 先看分布再看均值:长尾决定用户感知,均值只会掩盖问题
  • 降级要演练:没有演练过的兜底,等于没有兜底
  • 指标要能行动:每个指标都对应一个明确的处置动作

点赞(0) 打赏

评论列表 共有 0 条评论

暂无评论
立即
投稿

微信公众账号

微信扫一扫加关注

发表
评论
返回
顶部