"向量检索与RAG落地：分块、嵌入、召回与重排"

端到端流程数据接入 → 预处理与分块 → 嵌入向量化 → 索引构建 → 查询召回 → 重排 → 组装上下文 → 生成与引用。关键参数建议分块大小：推荐以语义密度与模型上下文为准，常见范围 512–1024 tokens；重叠 10–20% 以保留跨段语义。嵌入模型：依据语言与领域选择，如通用英文/多语种模型与中文优化模型；优先选择在目标语料上效果优异者。索引类型：内存检索可选 HNSW；海量数据选磁盘/分布式方案（如 IVF-PQ/HNSW 混合）。召回 TopK：与上下文长度、答案复杂度联动，通常在 5–20 之间迭代调优。重排：融合 BM25 与向量检索特征，或使用学习重排模型提升相关性与可引性。质量与可引性保留来源引用（URL/文档ID/段落号），在答案中插入证据列表使用评测集进行离线评估（精确率/召回率/可引性），并搭配在线 A/B 验证监控与回归监控查询失败率、空召回比例、平均上下文长度与生成引用率对知识库增量更新采用批处理+校验，避免索引与数据不一致常见问题盲目增大 TopK 导致噪声提升与成本上升分块过小破坏语义，过大影响召回与上下文装配