如果只记住一句话:RAG 的评估不是「开个开关」,而是一条需要长期维护的链路(忠实度、召回率、答案相关性)。下面按这 3 段链路逐段拆解,验证方法也按 AI 工程场景给出。

一、问题定位

RAG 的评估的典型故障曲线是这样的:先是一个可忍受的抖动,接着重试把抖动放大,最后忠实度的补偿逻辑把局部问题扩散成面。真正需要设计的不是「不出错」,而是让 RAG 的评估「出错时影响面可控」。

1.1 为什么现在更值得讨论

把 RAG 的评估的投入按时间排开,会发现前后的约束条件已经换了一轮:

  • 数据驱动替代经验判断(AI 工程):基线数字先于优化动作
  • 分布优于均值(AI 工程):长尾指标决定用户感知
  • 实验对照成为习惯(AI 工程):改动效果用对照组确认

二、按要点拆解:RAG 的评估

2.1 忠实度

忠实度的演进要兼容旧版本的数据格式。忠实度升级时旧数据读不出来,等于同时丢了两批用户的信任。

  • 回退:给忠实度明确「降级到哪一档」,而不是「出错就重试」
  • 观测:忠实度至少有成功率、P99、积压量三个指标能被独立查询
  • 幂等:忠实度被重复触发时结果一致,且不产生额外副作用

2.2 召回率

讨论召回率时,先分清哪些是必须保证的性质、哪些只是实现细节。把召回率的性质写成测试用例,实现细节才敢随便改。

  • 回退:给召回率明确「降级到哪一档」,而不是「出错就重试」
  • 观测:召回率至少有成功率、P99、积压量三个指标能被独立查询
  • 幂等:召回率被重复触发时结果一致,且不产生额外副作用

2.3 答案相关性

答案相关性的验收要包含性能衰减。AI 工程里答案相关性上线后性能缓慢衰减,比一次性不达标更难发现。

  • 被测过的最坏路径:答案相关性的超时、抖动、部分失败都要有对应用例
  • 灰度颗粒度:答案相关性的变更按流量比例还是按租户/节点放量,决定了回滚速度
  • 观测:答案相关性至少有成功率、P99、积压量三个指标能被独立查询

把忠实度、召回率、答案相关性的依赖方向画出来,3 个环节的轻重缓急自然浮现:

忠实度 → 召回率 → 答案相关性

把忠实度的输出做一次收敛再交给召回率,召回率的兜底逻辑就能做得更轻。忠实度到召回率的交接质量,决定了整条链路的成本。

三、最小可运行实现

某次 AI 工程的故障演练中,忠实度被主动降级后,召回率的负载立刻翻倍。这说明忠实度与召回率之间存在隐含的容量依赖,之前一直没被量化。

我们先给忠实度和召回率之间加了一层隔离:忠实度只关心自己的处理结果,召回率只关心最终状态。中间多了一次拷贝,但忠实度与召回率的故障隔离收益更大。

下面这段实现把忠实度、召回率、答案相关性的责任边界画了出来,方便对照前面的讨论:

# RAG:查询改写与多路召回的 RRF 融合
from collections import defaultdict

def rewrite_query(q, history):
    """多轮对话里检索必须带上文:把指代词替换成具体实体"""
    out = q
    for pron, entity in history.items():
        if pron in out:
            out = out.replace(pron, entity)
    return out

def rrf_fuse(per_source, k=60, top_k=20):
    """每个召回通道先各自排序,再按排名倒数融合;
    比直接相加分数更稳,因为不同通道的分数量纲不可比。"""
    scores = defaultdict(float)
    for hits in per_source:
        for rank, doc_id in enumerate(hits, start=1):
            scores[doc_id] += 1.0 / (k + rank)
    return sorted(scores.items(), key=lambda kv: -kv[1])[:top_k]

def compress_by_budget(ranked, token_budget):
    """按 Token 预算裁剪上下文:先保排名靠前的,再保完整段落"""
    picked, used = [], 0
    for doc_id, text in ranked:
        cost = len(text) // 4
        if used + cost > token_budget:
            continue
        picked.append(doc_id)
        used += cost
    return picked, used

四、验证与调优

RAG 的评估的压测与线上灰度数据对照(取改动的后一个完整周期):

环节单次耗时占关键路径优化手段
忠实度2.3ms38%把阻塞调用移到后台线程执行
召回率3.7ms27%用增量更新替代全量重算
答案相关性5.1ms20%合并多次小写入为一次批量提交

整体指标:P99 从 276ms 降到 146ms(-47%),吞吐从 8 万 QPS 提升到 18 万 QPS(+125%),CPU 占用从 64% 降到 44%。

4.1 灰度策略

  • 阶段一(AI 工程):先在新数据分片上验证,确认路由正确
  • 阶段二(AI 工程):覆盖一半分片,观察跨分片查询
  • 阶段三(AI 工程):全分片铺开,重点看热点分片
  • 阶段四(AI 工程):全量后保留分片级摘除能力

4.2 观测面

给 RAG 的评估做可观测性,不做全套,只做能定位问题的最小集合:

  • 指标(AI 工程):按时间段对比,避免把周期性波动当成故障
  • 日志(AI 工程):把配置变更和错误尖峰对齐到同一时间轴
  • 告警(AI 工程):告警必须带处置建议,而不只是指出异常

五、结论

如果把 RAG 的评估的投入排序,我会先做忠实度、召回率、答案相关性的契约与测试,再做性能。RAG 的评估的契约不稳时做的性能优化,很容易在下次改动中被推翻。

  • 观测要能回答三个问题(AI 工程):现在有没有问题、问题在哪、影响多大
  • 告警必须可行动(AI 工程):每个告警对应一个明确的处置动作与责任人
  • 日志要带上下文(AI 工程):事后排查依赖关键决策点的输入与输出摘要

点赞(0) 打赏

评论列表 共有 0 条评论

暂无评论
立即
投稿

微信公众账号

微信扫一扫加关注

发表
评论
返回
顶部