从零搭建生产级 LLM 应用：RAG 架构优化与工程最佳实践

RAG 为什么成为 LLM 应用的事实标准

大语言模型的知识有截止日期，且推理时无法实时访问私有数据。2023 年提出的 RAG（Retrieval-Augmented Generation，检索增强生成）架构通过在推理前检索相关文档并注入上下文，有效解决了幻觉、知识时效性和私有数据访问三大核心痛点。到 2026 年，RAG 已经成为企业级 LLM 应用的事实标准架构。

RAG 的核心链路拆解

一个完整的 RAG 系统包含以下环节：

1. 离线阶段：文档解析 → 数据清洗 → 文本切分（Chunking） → Embedding 向量化 → 写入向量数据库
2. 在线阶段：用户 Query 理解 → 查询改写 → 向量检索 + 关键词检索（混合检索） → 重排序 → 上下文注入 → LLM 生成 → 后处理与引用标注

离线阶段：Embedding 与切分策略

文档解析

PDF、Word、HTML 等不同格式的解析质量直接影响最终效果。推荐使用 Unstructured 或 LlamaParse 等专业 PDF 解析工具，它们能识别表格、图表和层级结构。对于代码文档，需要保留缩进和注释结构。

文本切分（Chunking）

切分是 RAG 中被低估但影响最大的环节。常见策略：

• 固定长度切分：简单粗暴，容易切断语义完整性。建议 chunk_size=512, overlap=50
• 递归字符切分：按段落 → 句子 → 词的优先级逐级切分到目标长度，LangChain 的 RecursiveCharacterTextSplitter 是主流选择
• 语义切分：基于 Embedding 相似度检测语义边界，效果最好但计算成本较高
• 父子结构：小块用于精准检索，检索到后将完整父文档注入 LLM 上下文，兼顾精确性和完整性

Embedding 模型选择

不同 Embedding 模型的语义理解能力差异显著。OpenAI 的 text-embedding-3-large、Cohere 的 embed-v3、开源的 BGE-M3 和 Qwen3-Embedding 都是优秀的选择。垂直领域（法律、医疗、金融）建议在领域语料上微调以获得最佳效果。

在线阶段：检索与生成优化

混合检索策略

单纯依赖向量检索在关键词精确匹配（如型号编号、专有名词）场景下表现不佳。混合检索将向量检索（语义理解）与 BM25 关键词检索（精确匹配）结合，通过 RRF（Reciprocal Rank Fusion）或加权评分进行融合。实测混合检索的 MRR@10 比纯向量检索提升 15-25%。

重排序（Reranker）

检索到的 Top-K 文档数量有限，重排序阶段用小规模交叉编码器对候选项逐一打分，将最相关的结果排到最前面。Cohere Rerank、BGE-reranker-v2-m3 等模型能在毫秒级完成重排序，显著提升最终答案质量。

查询改写（Query Rewriting）

用户 Query 往往表述模糊或缺少上下文。通过 LLM 对用户查询进行改写可以大幅提升检索准确率。常见策略：假设性文档嵌入（Hypothetical Document Embeddings，先让 LLM 生成"理想答案"再反向检索）、多查询扩展（生成多种表述分别检索后合并结果）。

生产级 RAG 的评估体系

没有评估就没有优化。RAG 系统需要从四个维度评估：

• 上下文相关性（Context Relevance）：检索到的文档中有多少比例与问题相关
• 忠实度（Faithfulness）：生成答案是否全部来自检索文档，有无幻觉
• 答案相关性（Answer Relevance）：生成答案是否切中用户意图
• 信息完整性（Completeness）：答案是否遗漏了关键信息

RAGAS、TruLens 和 LangSmith 都提供了自动化评估框架，建议集成到 CI/CD 流程中。

面向成本的工程优化

生产环境中，RAG 的成本大头是 Embedding 计算和 LLM 调用 Token 消耗。实用优化手段包括：向量数据库缓存高频查询结果、对检索结果做 Token 预算裁剪（只保留 Top-3 最相关文档截断到指定长度）、对确定性高的问题使用小模型快速响应。

总结

RAG 不是"把文档扔进向量数据库"那么简单——从解析、切分、Embedding 到检索、重排、生成，每一个环节都有大量工程细节决定最终效果。优秀的 RAG 系统是"细节的堆砌"：选对切分策略、用混合检索、加 Reranker、建评估闭环。随着多模态 RAG 和 Agentic RAG 的发展，检索增强生成的边界还在持续扩展。