ARTICLE / ai
RAG 技术栈全景:从索引到检索到生成的完整链路
检索增强生成(Retrieval-Augmented Generation,RAG)已成为将大语言模型应用于企业级知识密集型场景的主流范式。不同于直接依赖模型参数记忆知识的微调路线,RAG 通过在推理时动态检索外部知识源,将最新的、领域特定的信息注入生成过程,从根本上改变了 LLM 的知识获取方式。
本文面向有 LLM 应用开发经验的工程师,系统梳理 RAG 从文档摄入到最终生成的完整技术栈,覆盖每个环节的关键决策点、主流工具选型以及常见陷阱。
1. RAG 的定位与价值
1.1 为什么需要 RAG
大语言模型在实际应用中面临三个核心挑战:
- 知识时效性问题(Knowledge Cutoff):模型训练数据有截止日期,无法获知训练后发生的事件或更新的业务数据。例如 GPT-4 的训练数据截止到 2023 年 4 月,无法回答此后的任何事实性问题。
- 幻觉问题(Hallucination):当模型对某领域知识不确定时,倾向于生成"看起来合理但实际错误"的内容,在医疗、法律、金融等高风险场景中后果严重。
- 领域知识缺失:通用模型缺乏企业内部的私有知识——内部文档、产品手册、客户数据、操作流程等从未出现在公开训练语料中。
RAG 的核心思路是:不在模型参数中存储知识,而是在推理时从外部知识库中检索相关片段,作为上下文注入 Prompt,让模型基于真实文档进行生成。
1.2 RAG vs 微调 vs 长上下文
在技术选型时,开发者通常面临三种知识增强策略:
| 维度 | RAG | 微调(Fine-tuning) | 长上下文(Long Context) |
|---|---|---|---|
| 知识更新 | 实时更新,修改索引即可 | 需要重新训练,周期长 | 每次推理时重新传入 |
| 成本 | 推理时检索 + 生成,中等 | 训练成本高,推理成本低 | 上下文越长,推理成本越高 |
| 准确性 | 依赖检索质量,可追溯来源 | 知识融入参数,难以追溯 | 上下文窗口限制,信息密度下降 |
| 适用场景 | 知识频繁更新、需要引用来源 | 风格/格式适配、特定领域能力增强 | 单次对话中需要大量参考材料 |
| 实现复杂度 | 中等(检索 + 生成 pipeline) | 高(数据标注 + 训练基础设施) | 低(直接使用长上下文模型) |
| 幻觉控制 | 强(有文档作为事实依据) | 弱(可能混淆参数中的知识) | 中(上下文过长时模型注意力分散) |
实践建议:三者并非互斥。最佳实践通常是 RAG 为主 + 微调适配输出风格 + 长上下文处理单次大文档分析。
2. RAG 完整技术栈分层
一个完整的 RAG 系统可以分为五个核心层次:
每一层都有独立的技术选型空间和工程挑战。下面逐层展开。
3. 文档处理层
文档处理是 RAG pipeline 的入口,直接决定了后续检索的质量上限。Garbage In, Garbage Out 在 RAG 场景中尤为明显。
3.1 格式解析
企业知识库中的文档格式多样,每种格式需要不同的解析策略:
| 格式 | 解析挑战 | 推荐工具 |
|---|---|---|
| 布局复杂、图文混排、表格嵌套、扫描件(图片) | PyMuPDF、pdfplumber、Unstructured | |
| Markdown | 结构清晰,但嵌套链接和代码块需要特殊处理 | 原生解析即可,注意 frontmatter 剥离 |
| HTML | 标签噪声、导航栏/页脚等非正文内容 | BeautifulSoup + 正文提取器(如 readability) |
| Word (.docx) | 复杂排版、嵌入图片、修订痕迹 | python-docx、mammoth |
| PPT (.pptx) | 幻灯片布局、图表与文字分离 | python-pptx |
| 表格 (CSV/Excel) | 结构化数据的文本化表示 | pandas,需设计表格到文本的转换策略 |
3.2 Unstructured 库
Unstructured 是当前最全面的文档解析库,支持 76+ 种文件格式的统一处理:
strategy 有三个取值:fast(仅文本层提取,最快)、hi_res(启用版面分析模型,能识别表格与图片标题)、ocr_only(整页 OCR,扫描件专用)。中文文档务必显式传 languages=["chi_sim"],否则 OCR 段默认按英文分词,中文行会被切碎。
表格解析是 PDF 环节最大的坑。多数 PDF 的表格没有结构信息,只有线条与文本坐标。生产上更稳的做法是用专用工具:pdfplumber(基于线条与文本对齐的启发式)、Camelot(lattice / stream 两种模式),或直接用视觉模型输出 Markdown 表格。无论哪种,都要有解析失败降级路径——把整页当纯文本处理并打上低质量标记,比丢数据好。
3.3 分块策略(Chunking)
分块决定了检索的最小粒度,是 RAG 系统里最难调、影响最大的参数。
| 策略 | 做法 | 适用 | 主要风险 |
|---|---|---|---|
| 固定长度 | 按 Token / 字符数切,配 overlap | 快速起步、语料同质 | 语义断裂、表格被切一半 |
| 递归字符切分 | 按 \n\n→\n→。→,→空格逐级降级 | 通用文档 | 长段落仍可能被硬切 |
| 结构感知 | 按标题层级 / HTML 标签 / Markdown 节切 | 技术文档、制度文件 | 依赖解析质量 |
| 语义分块 | 相邻句向量相似度骤降处切开 | 叙述型长文 | 计算贵、阈值难定 |
| 父子分块 | 小块用于检索,返回其所属大块用于生成 | 上下文完整性要求高 | 索引体积翻倍 |
参数经验值:中文技术文档 400-800 字符(约 300-600 Token)是主流区间,overlap 取块长的 10%-20%。判断依据不是"别人用多少",而是评测集上 Recall@K 的最优点——同一份语料把块长从 256 扫到 1024,指标差异常常超过一次模型升级。
三条容易忽略但影响大的细节:
- 表格与代码块不参与语义切分,整体保留为一个 chunk(打
type=table标签,检索时单独加权) - 每个 chunk 前置上下文:把文档标题与层级路径拼进去(
{doc_title} > {h2} > {h3}+ 正文),显著改善"这段在讲什么"的召回 - 保留精确定位字段:
doc_id、page、section_path、source_url。没有它们就无法生成可验证的引用,也无法做增量删除
4. 索引层:Embedding 与向量数据库
4.1 Embedding 模型选型
选型看五件事:语言支持(中文务必看 C-MTEB 一类榜单)、维度、最大输入长度、部署形态(API / 自托管)、成本。
当前实践中的常见选择:OpenAI text-embedding-3-small/large(英文强、支持 Matryoshka 降维)、bge-m3(中英多语、稠密+稀疏+多向量三合一、可自托管)、Gemini 系 text-embedding-004。
两个必须知道的陷阱:
- 换模型等于全量重建索引。新旧向量空间不兼容,混用会让检索结果彻底失真。做法是新建 collection 全量重嵌,双写灰度切换,指标验证后再下线旧索引。
- 查询侧与文档侧要用不同前缀。许多模型(bge、E5 系列)要求 query 加
query:、doc 加passage:。忘记加会让召回率下降十几个点,而且症状隐蔽——系统"能跑,只是不准"。
4.2 向量数据库选型
| 形态 | 代表 | 适合 | 不适合 |
|---|---|---|---|
| 专用数据库 | Qdrant、Milvus、Weaviate、Chroma | 千万级以上向量、复杂过滤、多租户 | 小项目(运维成本白给) |
| 扩展插件 | pgvector、Elasticsearch dense_vector、Redis Vector | 数据与业务库同栈、想少一个组件 | 超大规模向量 |
| 托管服务 | Pinecone、Zilliz Cloud | 无运维团队、快速上线 | 数据不出境 / 私有化要求 |
选型的第一条建议往往是"别上专用向量库":百万级向量以内,pgvector 加 HNSW 索引完全够用,而且权限、备份、事务全部复用现有 Postgres 体系。等真撞到规模墙再迁——迁移成本远低于一开始就维护一套集群的成本。
索引参数上,HNSW 的 M(16-32)、ef_construction(64-200)、查询期 ef_search(决定召回/延迟权衡)是三个必调项;IVF 系关注 nprobe。任何索引改动都要在自己的评测集上量 Recall@K 与 P99 延迟,而不是看官方基准。
5. 检索层:从 Query 到 Context
5.1 检索前的查询处理
原始用户提问很少适合直接检索。常用手段:查询改写(把口语化提问改成文档式表述)、HyDE(让 LLM 先生成一段假设答案,用它的向量去检索——对"怎么配置 X"类问题有效,但多一次调用且有幻觉风险)、多查询扩展(生成 3-5 个变体并行检索后融合)、Step-back(先抽象到更上位概念)、路由(按意图分发到不同索引)。
5.2 混合检索与重排序
纯向量检索会在专有名词、型号、错误码、人名上失手,BM25 / 稀疏检索恰好相反。工程标准解是混合检索 + RRF 融合,再用 Cross-Encoder(bge-reranker、Cohere Rerank)把 Top-50 精排出 Top-5。这套组合带来的指标提升,通常大于换一代 Embedding 模型。
Lost in the Middle 要在拼装阶段处理:最相关的片段放开头与结尾,弱相关的放中间;同时给每个片段带上"来源 + 时间"标签,让模型能区分依据的可靠性。
5.3 元数据过滤与多轮指代消解
多租户、时间范围、部门权限必须走结构化过滤(WHERE / filter 表达式),绝不能靠 Prompt 里写"请不要返回 X 部门的内容"——后者可以被检索结果直接绕过。带上下文的追问(“那它的缺点呢”)要先做指代消解,改写为独立完整查询再检索。
6. 生成层:把 Context 变成可用答案
生成阶段有三个关键工程点:
Prompt 结构:系统指令(角色、拒答条件、引用格式)→ 检索片段(带编号与元数据)→ 用户问题。要求模型"只依据给定片段作答,不足则明说"。
引用与可验证性:强制答案标注 [1]、[2] 这类片段编号,前端映射回原文与页码。这是把 RAG 从"看起来对"变成"可核查"的主要手段,也是生产环境接受度的分水岭。
拒答与置信度:检索最高相似度低于阈值时不生成实质答案,返回"知识库未覆盖该问题"并记录为待补充内容。宁可拒答,不要用参数知识补白。
7. 全链路排障与评测
RAG 的问题必须分层归因,否则优化会变成玄学。一条 badcase 的固定处理顺序:
- 解析层:目标内容是否真的进了库?(直接搜原文子串)
- 分块层:是否被切得无法独立理解?(看 chunk 上下文)
- 检索层:正确 chunk 是否在 Top-K?(Recall@K,不看最终答案)
- 重排层:排名是否足够靠前?(MRR / nDCG)
- 生成层:给了正确上下文仍答错?(Faithfulness、引用一致性)
评测集建设:从真实用户问题抽样 100-300 条,人工标注标准答案与应命中文档 ID。此后每次改动(Embedding、分块、Top-K、Prompt、模型)都跑同一集做对照。离线指标之外补线上信号:点赞/点踩、追问率、人工兜底转接率。
8. 结语
RAG 的完整链路里,每一层都能贡献若干个点的有效增益,而收益最高的往往是最枯燥的那几层:文档解析质量、分块策略、评测集建设。真正决定系统上限的,是你能否把知识库维护到"检索得到、看得懂、可追溯"的状态。
技术选型上的务实排序:先用 pgvector + 递归分块 + 混合检索 + Cross-Encoder 重排 + 严格引用格式跑通闭环,再谈多路召回、知识图谱、Agentic 检索这些进阶方向。前者做到位,多数业务场景的问题已经解决;后者解决的是剩下那 10% 真正复杂的问题。
(数据来源说明:本文为公开资料与技术方法整理,涉及的性能、比例与厂商能力描述以各官方文档与公开报告为准,具体数值会随版本变化;未在自有环境逐项复测的数据均以’约/通常/实践区间’表述。)
本文面向授权安全研究与防御建设,未经授权对任何系统实施文中技术属违法行为。