ARTICLE / ai

RAG 技术栈全景:从索引到检索到生成的完整链路

检索增强生成(Retrieval-Augmented Generation,RAG)已成为将大语言模型应用于企业级知识密集型场景的主流范式。不同于直接依赖模型参数记忆知识的微调路线,RAG 通过在推理时动态检索外部知识源,将最新的、领域特定的信息注入生成过程,从根本上改变了 LLM 的知识获取方式。

本文面向有 LLM 应用开发经验的工程师,系统梳理 RAG 从文档摄入到最终生成的完整技术栈,覆盖每个环节的关键决策点、主流工具选型以及常见陷阱。


1. RAG 的定位与价值

1.1 为什么需要 RAG

大语言模型在实际应用中面临三个核心挑战:

  • 知识时效性问题(Knowledge Cutoff):模型训练数据有截止日期,无法获知训练后发生的事件或更新的业务数据。例如 GPT-4 的训练数据截止到 2023 年 4 月,无法回答此后的任何事实性问题。
  • 幻觉问题(Hallucination):当模型对某领域知识不确定时,倾向于生成"看起来合理但实际错误"的内容,在医疗、法律、金融等高风险场景中后果严重。
  • 领域知识缺失:通用模型缺乏企业内部的私有知识——内部文档、产品手册、客户数据、操作流程等从未出现在公开训练语料中。

RAG 的核心思路是:不在模型参数中存储知识,而是在推理时从外部知识库中检索相关片段,作为上下文注入 Prompt,让模型基于真实文档进行生成。

1.2 RAG vs 微调 vs 长上下文

在技术选型时,开发者通常面临三种知识增强策略:

维度RAG微调(Fine-tuning)长上下文(Long Context)
知识更新实时更新,修改索引即可需要重新训练,周期长每次推理时重新传入
成本推理时检索 + 生成,中等训练成本高,推理成本低上下文越长,推理成本越高
准确性依赖检索质量,可追溯来源知识融入参数,难以追溯上下文窗口限制,信息密度下降
适用场景知识频繁更新、需要引用来源风格/格式适配、特定领域能力增强单次对话中需要大量参考材料
实现复杂度中等(检索 + 生成 pipeline)高(数据标注 + 训练基础设施)低(直接使用长上下文模型)
幻觉控制强(有文档作为事实依据)弱(可能混淆参数中的知识)中(上下文过长时模型注意力分散)

实践建议:三者并非互斥。最佳实践通常是 RAG 为主 + 微调适配输出风格 + 长上下文处理单次大文档分析。


2. RAG 完整技术栈分层

一个完整的 RAG 系统可以分为五个核心层次:

┌─────────────────────────────────────────────────────────┐
│                    用户查询 (Query)                       │
└────────────────────────┬────────────────────────────────┘
                         │
                         ▼
┌─────────────────────────────────────────────────────────┐
│  第 1 层:文档处理 (Document Processing)                  │
│  格式解析 → 元数据提取 → 内容清洗                           │
└────────────────────────┬────────────────────────────────┘
                         │
                         ▼
┌─────────────────────────────────────────────────────────┐
│  第 2 层:切分 (Chunking)                                │
│  分块策略 → 块大小控制 → 重叠窗口                           │
└────────────────────────┬────────────────────────────────┘
                         │
                         ▼
┌─────────────────────────────────────────────────────────┐
│  第 3 层:向量化 (Embedding)                              │
│  文本向量化 → 批量处理 → 维度管理                           │
└────────────────────────┬────────────────────────────────┘
                         │
                         ▼
┌─────────────────────────────────────────────────────────┐
│  第 4 层:索引与检索 (Indexing & Retrieval)               │
│  向量存储 → 索引策略 → 相似度搜索 → 元数据过滤              │
└────────────────────────┬────────────────────────────────┘
                         │
                         ▼
┌─────────────────────────────────────────────────────────┐
│  第 5 层:生成 (Generation)                              │
│  上下文注入 → Prompt 构建 → 模型生成 → 引用追溯             │
└─────────────────────────────────────────────────────────┘

每一层都有独立的技术选型空间和工程挑战。下面逐层展开。


3. 文档处理层

文档处理是 RAG pipeline 的入口,直接决定了后续检索的质量上限。Garbage In, Garbage Out 在 RAG 场景中尤为明显。

3.1 格式解析

企业知识库中的文档格式多样,每种格式需要不同的解析策略:

格式解析挑战推荐工具
PDF布局复杂、图文混排、表格嵌套、扫描件(图片)PyMuPDF、pdfplumber、Unstructured
Markdown结构清晰,但嵌套链接和代码块需要特殊处理原生解析即可,注意 frontmatter 剥离
HTML标签噪声、导航栏/页脚等非正文内容BeautifulSoup + 正文提取器(如 readability)
Word (.docx)复杂排版、嵌入图片、修订痕迹python-docx、mammoth
PPT (.pptx)幻灯片布局、图表与文字分离python-pptx
表格 (CSV/Excel)结构化数据的文本化表示pandas,需设计表格到文本的转换策略

3.2 Unstructured 库

Unstructured 是当前最全面的文档解析库,支持 76+ 种文件格式的统一处理:

from unstructured.partition.auto import partition

elements = partition(
    filename="company_report.pdf",
    strategy="hi_res",
    chunking_strategy="by_title",
    languages=["chi_sim", "eng"]
)

for element in elements:
    print(f"[{element.category}] {element.text[:100]}")

strategy 有三个取值:fast(仅文本层提取,最快)、hi_res(启用版面分析模型,能识别表格与图片标题)、ocr_only(整页 OCR,扫描件专用)。中文文档务必显式传 languages=["chi_sim"],否则 OCR 段默认按英文分词,中文行会被切碎。

表格解析是 PDF 环节最大的坑。多数 PDF 的表格没有结构信息,只有线条与文本坐标。生产上更稳的做法是用专用工具:pdfplumber(基于线条与文本对齐的启发式)、Camelot(lattice / stream 两种模式),或直接用视觉模型输出 Markdown 表格。无论哪种,都要有解析失败降级路径——把整页当纯文本处理并打上低质量标记,比丢数据好。

3.3 分块策略(Chunking)

分块决定了检索的最小粒度,是 RAG 系统里最难调、影响最大的参数。

策略做法适用主要风险
固定长度按 Token / 字符数切,配 overlap快速起步、语料同质语义断裂、表格被切一半
递归字符切分按 \n\n→\n→。→,→空格逐级降级通用文档长段落仍可能被硬切
结构感知按标题层级 / HTML 标签 / Markdown 节切技术文档、制度文件依赖解析质量
语义分块相邻句向量相似度骤降处切开叙述型长文计算贵、阈值难定
父子分块小块用于检索,返回其所属大块用于生成上下文完整性要求高索引体积翻倍

参数经验值:中文技术文档 400-800 字符(约 300-600 Token)是主流区间,overlap 取块长的 10%-20%。判断依据不是"别人用多少",而是评测集上 Recall@K 的最优点——同一份语料把块长从 256 扫到 1024,指标差异常常超过一次模型升级。

三条容易忽略但影响大的细节:

  • 表格与代码块不参与语义切分,整体保留为一个 chunk(打 type=table 标签,检索时单独加权)
  • 每个 chunk 前置上下文:把文档标题与层级路径拼进去({doc_title} > {h2} > {h3} + 正文),显著改善"这段在讲什么"的召回
  • 保留精确定位字段:doc_id、page、section_path、source_url。没有它们就无法生成可验证的引用,也无法做增量删除

4. 索引层:Embedding 与向量数据库

4.1 Embedding 模型选型

选型看五件事:语言支持(中文务必看 C-MTEB 一类榜单)、维度、最大输入长度、部署形态(API / 自托管)、成本。

当前实践中的常见选择:OpenAI text-embedding-3-small/large(英文强、支持 Matryoshka 降维)、bge-m3(中英多语、稠密+稀疏+多向量三合一、可自托管)、Gemini 系 text-embedding-004。

两个必须知道的陷阱:

  1. 换模型等于全量重建索引。新旧向量空间不兼容,混用会让检索结果彻底失真。做法是新建 collection 全量重嵌,双写灰度切换,指标验证后再下线旧索引。
  2. 查询侧与文档侧要用不同前缀。许多模型(bge、E5 系列)要求 query 加 query:、doc 加 passage:。忘记加会让召回率下降十几个点,而且症状隐蔽——系统"能跑,只是不准"。

4.2 向量数据库选型

形态代表适合不适合
专用数据库Qdrant、Milvus、Weaviate、Chroma千万级以上向量、复杂过滤、多租户小项目(运维成本白给)
扩展插件pgvector、Elasticsearch dense_vector、Redis Vector数据与业务库同栈、想少一个组件超大规模向量
托管服务Pinecone、Zilliz Cloud无运维团队、快速上线数据不出境 / 私有化要求

选型的第一条建议往往是"别上专用向量库":百万级向量以内,pgvector 加 HNSW 索引完全够用,而且权限、备份、事务全部复用现有 Postgres 体系。等真撞到规模墙再迁——迁移成本远低于一开始就维护一套集群的成本。

索引参数上,HNSW 的 M(16-32)、ef_construction(64-200)、查询期 ef_search(决定召回/延迟权衡)是三个必调项;IVF 系关注 nprobe。任何索引改动都要在自己的评测集上量 Recall@K 与 P99 延迟,而不是看官方基准。


5. 检索层:从 Query 到 Context

5.1 检索前的查询处理

原始用户提问很少适合直接检索。常用手段:查询改写(把口语化提问改成文档式表述)、HyDE(让 LLM 先生成一段假设答案,用它的向量去检索——对"怎么配置 X"类问题有效,但多一次调用且有幻觉风险)、多查询扩展(生成 3-5 个变体并行检索后融合)、Step-back(先抽象到更上位概念)、路由(按意图分发到不同索引)。

5.2 混合检索与重排序

纯向量检索会在专有名词、型号、错误码、人名上失手,BM25 / 稀疏检索恰好相反。工程标准解是混合检索 + RRF 融合,再用 Cross-Encoder(bge-reranker、Cohere Rerank)把 Top-50 精排出 Top-5。这套组合带来的指标提升,通常大于换一代 Embedding 模型。

Lost in the Middle 要在拼装阶段处理:最相关的片段放开头与结尾,弱相关的放中间;同时给每个片段带上"来源 + 时间"标签,让模型能区分依据的可靠性。

5.3 元数据过滤与多轮指代消解

多租户、时间范围、部门权限必须走结构化过滤(WHERE / filter 表达式),绝不能靠 Prompt 里写"请不要返回 X 部门的内容"——后者可以被检索结果直接绕过。带上下文的追问(“那它的缺点呢”)要先做指代消解,改写为独立完整查询再检索。


6. 生成层:把 Context 变成可用答案

生成阶段有三个关键工程点:

Prompt 结构:系统指令(角色、拒答条件、引用格式)→ 检索片段(带编号与元数据)→ 用户问题。要求模型"只依据给定片段作答,不足则明说"。

引用与可验证性:强制答案标注 [1]、[2] 这类片段编号,前端映射回原文与页码。这是把 RAG 从"看起来对"变成"可核查"的主要手段,也是生产环境接受度的分水岭。

拒答与置信度:检索最高相似度低于阈值时不生成实质答案,返回"知识库未覆盖该问题"并记录为待补充内容。宁可拒答,不要用参数知识补白。


7. 全链路排障与评测

RAG 的问题必须分层归因,否则优化会变成玄学。一条 badcase 的固定处理顺序:

  1. 解析层:目标内容是否真的进了库?(直接搜原文子串)
  2. 分块层:是否被切得无法独立理解?(看 chunk 上下文)
  3. 检索层:正确 chunk 是否在 Top-K?(Recall@K,不看最终答案)
  4. 重排层:排名是否足够靠前?(MRR / nDCG)
  5. 生成层:给了正确上下文仍答错?(Faithfulness、引用一致性)

评测集建设:从真实用户问题抽样 100-300 条,人工标注标准答案与应命中文档 ID。此后每次改动(Embedding、分块、Top-K、Prompt、模型)都跑同一集做对照。离线指标之外补线上信号:点赞/点踩、追问率、人工兜底转接率。


8. 结语

RAG 的完整链路里,每一层都能贡献若干个点的有效增益,而收益最高的往往是最枯燥的那几层:文档解析质量、分块策略、评测集建设。真正决定系统上限的,是你能否把知识库维护到"检索得到、看得懂、可追溯"的状态。

技术选型上的务实排序:先用 pgvector + 递归分块 + 混合检索 + Cross-Encoder 重排 + 严格引用格式跑通闭环,再谈多路召回、知识图谱、Agentic 检索这些进阶方向。前者做到位,多数业务场景的问题已经解决;后者解决的是剩下那 10% 真正复杂的问题。

(数据来源说明:本文为公开资料与技术方法整理,涉及的性能、比例与厂商能力描述以各官方文档与公开报告为准,具体数值会随版本变化;未在自有环境逐项复测的数据均以’约/通常/实践区间’表述。)

本文面向授权安全研究与防御建设,未经授权对任何系统实施文中技术属违法行为。