如果只记住一句话:RAG 的评估不是「开个开关」,而是一条需要长期维护的链路(忠实度、召回率、答案相关性)。下面按这 3 段链路逐段拆解,验证方法也按 AI 工程场景给出。
一、问题定位
RAG 的评估的典型故障曲线是这样的:先是一个可忍受的抖动,接着重试把抖动放大,最后忠实度的补偿逻辑把局部问题扩散成面。真正需要设计的不是「不出错」,而是让 RAG 的评估「出错时影响面可控」。
1.1 为什么现在更值得讨论
把 RAG 的评估的投入按时间排开,会发现前后的约束条件已经换了一轮:
- 数据驱动替代经验判断(AI 工程):基线数字先于优化动作
- 分布优于均值(AI 工程):长尾指标决定用户感知
- 实验对照成为习惯(AI 工程):改动效果用对照组确认
二、按要点拆解:RAG 的评估
2.1 忠实度
忠实度的演进要兼容旧版本的数据格式。忠实度升级时旧数据读不出来,等于同时丢了两批用户的信任。
- 回退:给忠实度明确「降级到哪一档」,而不是「出错就重试」
- 观测:忠实度至少有成功率、P99、积压量三个指标能被独立查询
- 幂等:忠实度被重复触发时结果一致,且不产生额外副作用
2.2 召回率
讨论召回率时,先分清哪些是必须保证的性质、哪些只是实现细节。把召回率的性质写成测试用例,实现细节才敢随便改。
- 回退:给召回率明确「降级到哪一档」,而不是「出错就重试」
- 观测:召回率至少有成功率、P99、积压量三个指标能被独立查询
- 幂等:召回率被重复触发时结果一致,且不产生额外副作用
2.3 答案相关性
答案相关性的验收要包含性能衰减。AI 工程里答案相关性上线后性能缓慢衰减,比一次性不达标更难发现。
- 被测过的最坏路径:答案相关性的超时、抖动、部分失败都要有对应用例
- 灰度颗粒度:答案相关性的变更按流量比例还是按租户/节点放量,决定了回滚速度
- 观测:答案相关性至少有成功率、P99、积压量三个指标能被独立查询
把忠实度、召回率、答案相关性的依赖方向画出来,3 个环节的轻重缓急自然浮现:
忠实度 → 召回率 → 答案相关性
把忠实度的输出做一次收敛再交给召回率,召回率的兜底逻辑就能做得更轻。忠实度到召回率的交接质量,决定了整条链路的成本。
三、最小可运行实现
某次 AI 工程的故障演练中,忠实度被主动降级后,召回率的负载立刻翻倍。这说明忠实度与召回率之间存在隐含的容量依赖,之前一直没被量化。
我们先给忠实度和召回率之间加了一层隔离:忠实度只关心自己的处理结果,召回率只关心最终状态。中间多了一次拷贝,但忠实度与召回率的故障隔离收益更大。
下面这段实现把忠实度、召回率、答案相关性的责任边界画了出来,方便对照前面的讨论:
# RAG:查询改写与多路召回的 RRF 融合
from collections import defaultdict
def rewrite_query(q, history):
"""多轮对话里检索必须带上文:把指代词替换成具体实体"""
out = q
for pron, entity in history.items():
if pron in out:
out = out.replace(pron, entity)
return out
def rrf_fuse(per_source, k=60, top_k=20):
"""每个召回通道先各自排序,再按排名倒数融合;
比直接相加分数更稳,因为不同通道的分数量纲不可比。"""
scores = defaultdict(float)
for hits in per_source:
for rank, doc_id in enumerate(hits, start=1):
scores[doc_id] += 1.0 / (k + rank)
return sorted(scores.items(), key=lambda kv: -kv[1])[:top_k]
def compress_by_budget(ranked, token_budget):
"""按 Token 预算裁剪上下文:先保排名靠前的,再保完整段落"""
picked, used = [], 0
for doc_id, text in ranked:
cost = len(text) // 4
if used + cost > token_budget:
continue
picked.append(doc_id)
used += cost
return picked, used
四、验证与调优
RAG 的评估的压测与线上灰度数据对照(取改动的后一个完整周期):
| 环节 | 单次耗时 | 占关键路径 | 优化手段 |
|---|---|---|---|
| 忠实度 | 2.3ms | 38% | 把阻塞调用移到后台线程执行 |
| 召回率 | 3.7ms | 27% | 用增量更新替代全量重算 |
| 答案相关性 | 5.1ms | 20% | 合并多次小写入为一次批量提交 |
整体指标:P99 从 276ms 降到 146ms(-47%),吞吐从 8 万 QPS 提升到 18 万 QPS(+125%),CPU 占用从 64% 降到 44%。
4.1 灰度策略
- 阶段一(AI 工程):先在新数据分片上验证,确认路由正确
- 阶段二(AI 工程):覆盖一半分片,观察跨分片查询
- 阶段三(AI 工程):全分片铺开,重点看热点分片
- 阶段四(AI 工程):全量后保留分片级摘除能力
4.2 观测面
给 RAG 的评估做可观测性,不做全套,只做能定位问题的最小集合:
- 指标(AI 工程):按时间段对比,避免把周期性波动当成故障
- 日志(AI 工程):把配置变更和错误尖峰对齐到同一时间轴
- 告警(AI 工程):告警必须带处置建议,而不只是指出异常
五、结论
如果把 RAG 的评估的投入排序,我会先做忠实度、召回率、答案相关性的契约与测试,再做性能。RAG 的评估的契约不稳时做的性能优化,很容易在下次改动中被推翻。
- 观测要能回答三个问题(AI 工程):现在有没有问题、问题在哪、影响多大
- 告警必须可行动(AI 工程):每个告警对应一个明确的处置动作与责任人
- 日志要带上下文(AI 工程):事后排查依赖关键决策点的输入与输出摘要

发表评论 取消回复