RAG 检索增强生成系统设计

简介RAG 通过检索相关知识提升生成准确性，关键在于数据与索引质量。数据处理清洗：去重、解析失败修复、结构化切分（标题/段落/代码）。切分：按语义边界与长度上限（如 512-1024 tokens）进行分段。标注：添加主题标签与来源，便于过滤与审计。索引与检索向量化：选择稳定 Embedding 模型，保持文本与代码的区分。索引：FAISS/HNSW 等近似最近邻结构，权衡精度与速度。检索策略：BM25 + 向量混合、标签过滤、时间衰减。评测指标召回率/精准率：基于标注集合进行离线评测。命中质量：基于上下文相关性与覆盖度的打分。延迟：检索耗时分布，保障交互体验。工程注意事项保留审计日志与数据来源，避免越权与泄露。对低质量片段进行降权或剔除，持续迭代索引。