RAG 系统答错时,最常见的反应是换更强的模型。但检索增强的误差是链式的:切分丢了上下文、召回没覆盖、排序把证据挤下去、拼接把噪声塞满上下文,最后模型没用上证据。任何一环出问题,换模型都救不回来。
这篇按「切分 → 检索 → 重排 → 评测」拆开讲,并给一个能跑的最小示例。文中的提升数字来自 Anthropic 的 Contextual Retrieval 实验,换成你的数据不一定复现同样幅度,但方法可以照搬。
一、原理:RAG 解决的是「模型不知道」
2020 年的 RAG 论文把生成模型和可检索的外部文档库结合起来:模型参数记忆负责语言与推理,外部索引负责事实与更新。它特别适合三类场景:私有文档、更新频繁、需要引用来源。
但 RAG 不解决「模型不会想」:需要多跳推理、跨文档汇总、判断资料本身是否可靠的问题,单次检索往往不够,要用查询分解、多轮检索或工具调用补足。
检索之前还有一步常被忽略:把用户问题变成适合检索的查询。用户问「那个退款要几天」,代词和省略会让向量检索很难命中;先让模型改写、补全、拆成子问题,再分别检索。这一步不改变知识库,却常常比调 top-k 更有效。
另一个反直觉的结论是,知识库很小时未必需要 RAG。Anthropic 指出,小于约 20 万 token(约 500 页)的语料可以直接放进提示,配合提示缓存降低成本。是否上 RAG,先看语料规模和更新频率。
先问一句:这个知识库能不能整体塞进上下文?能,就先别搭向量库。RAG 的复杂度要用在「塞不下」和「要引用」这两个真实约束上。
二、切分:先保结构,再谈长度
切分的目标不是把文档切成等长片段,而是让每个片段单独拿出来也能被正确理解。做法:
- 按标题、段落、表格边界切,保留标题路径(如「第 3 章 > 退款政策 > 时效」)作为元数据。
- 块大小通常在几百 token(如 200–800),相邻块留 10%–20% 重叠;具体值要用评测确定,没有通用最优。
- 表格、代码、条款单独处理,避免从中间切断;检索时可返回整张表或父章节。
- 用「小块检索、大块返回」:向量索引小块,命中后把所在父段或整节交给模型。
Anthropic 的 Contextual Retrieval 还多做一步:为每个块生成 50–100 token 的定位说明,拼在块前面再嵌入、再建 BM25 索引。实验中,仅加语境化嵌入就把 top-20 检索失败率从 5.7% 降到 3.7%;叠加语境化 BM25 后降到 2.9%;再加重排降到 1.9%。代价是预处理要为每块调用一次模型,可用提示缓存摊薄。
切分之前先解决解析:双栏 PDF、扫描件、页眉页脚、合并单元格,都会把错误带进后续每一环。解析质量差时,再好的检索和重排也只是把错内容排得更靠前。
三、检索与重排:召回靠混合,精度靠重排
只用向量检索会漏掉精确匹配:错误码、型号、人名、合同编号。BM25 这类关键词检索恰好补上这一块,两者用倒数排名融合(RRF)合并,通常比单路召回稳。元数据过滤(租户、时间、权限)要在检索阶段就做,不能指望模型看完了再自觉忽略。
重排是第二道闸:先粗召回 100–150 条,再用 cross-encoder 或商用重排接口对「查询–块」逐对打分,取前 10–20 条。重排能明显提升精度,但会增加延迟和费用,条数要按业务取舍。Anthropic 的实验设置是 top-150 重排后取 top-20,并发现给模型 20 条比 5 条、10 条效果更好——但这个结论依赖模型和数据集,仍要用自己的评测验证。
混合检索的权重不要拍脑袋:向量召回负责语义相近,关键词召回负责精确命中,融合比例应通过评测集确定。查询量大的系统还可以加缓存,对高频问题直接复用检索结果,减少重复的嵌入与重排开销。
# 依赖:Python 3.10+,pip install sentence-transformers numpy
# 模型可替换;首次运行会下载权重
import numpy as np
from sentence_transformers import SentenceTransformer
model = SentenceTransformer("BAAI/bge-small-zh-v1.5")
chunks = [
"退款政策:签收后 7 天内可无理由退货,运费由买家承担。",
"物流时效:江浙沪次日达,偏远地区 3–5 天。",
"发票开具:订单完成后可在订单页申请电子发票。",
]
meta = [{"id": 1}, {"id": 2}, {"id": 3}]
emb = model.encode(chunks, normalize_embeddings=True)
query = "买的东西几天能到?"
q = model.encode([query], normalize_embeddings=True)[0]
scores = emb @ q
top = np.argsort(-scores)[:2]
for i in top:
print(round(float(scores[i]), 3), meta[i], chunks[i])
这是最小骨架,生产环境还要补:BM25 混合、元数据过滤、重排、引用来源和缓存。另外两个细节会被低估:多路召回后要按文档 ID 去重,避免同一段内容以不同块重复占满上下文;块大小、重叠和 top-k 应作为一组参数一起调,单独改任何一项都容易得出错误结论。
四、评测:分层定位,不要只测最终答案
端到端答错时,先分清是检索问题还是生成问题,否则会一直在错误的地方调参。
- 检索层:recall@k(该命中的有没有进前 k)、MRR、nDCG。最常见的情况是召回不够,却一直在调提示词。
- 生成层:faithfulness(答案是否被检索到的证据支持)、答案相关性、引用准确率。RAGAS 等工具提供自动计算的指标,但需要人工样本校准。
- 端到端:任务通过率、人工抽检,以及「无法回答时是否明确说不知道」。
把错误归到五类:没召回、排序太靠后、切分破坏了语义、拼接噪声太多、模型无视证据。每类对应不同改法,先归因再动手。
RAGAS 一类框架把生成层拆成几个自动指标,例如忠实度(答案里的每个论断能否由上下文支持)、答案相关性、上下文精确率与召回率。它们适合做回归对比,但要先在自己的数据上验证「指标高低」和「人工判断好坏」是否一致,否则很容易优化一个好看的数字。
评测集要自己建:从真实提问里抽样,标注「答案在哪份文档、哪一段」,并补上「资料里没有答案」的样本。没有这类负样本,系统会倾向于在证据不足时硬编,而你的分数还很好看。
五、决策表:不同场景怎么配
| 场景 | 切分 | 检索 | 重排 | 备注 |
|---|---|---|---|---|
| 合同、法规问答 | 按条款切,父块返回 | 混合检索 + 版本过滤 | 需要 | 保留页码与生效日期 |
| 客服 FAQ | 一问一答为一块 | 向量 + 关键词 | 可选 | 答案随政策更新 |
| 代码库问答 | 函数/文件为块,保留路径 | BM25 + 向量 | 需要 | 路径与符号名很关键 |
| 多租户 SaaS | 结构切分 | 元数据强过滤 | 需要 | 权限在检索前生效 |
| 语料 < 20 万 token | 不切或整库入上下文 | 无检索 | 无 | 注意成本与上下文退化 |
六、常见坑
- 只测最终答案,不测召回,永远不知道问题出在检索。
- 用向量替代关键词,错误码和型号搜不到。
- 按固定字数切分,把表格、条款、代码拦腰截断。
- 盲目加大 top-k,噪声把证据淹没,还增加成本。
- 忘了权限过滤,跨租户检索造成数据泄露。
- 索引不更新、无版本,答案引用的是旧政策。
- 文档解析质量差(双栏 PDF、扫描件)却怪模型。
- 只优化检索,不给模型「证据不足就说不知道」的出口。
- 只看一个成功案例,不做批量回归。
七、可执行清单
- 先判断语料规模:能整库入上下文就先别上 RAG。
- 按结构切分,保留标题路径、页码、版本等元数据。
- 建立可自动计算的检索评测集(问题 + 正确文档 ID)。
- 先做 embedding + BM25 混合召回,再加 RRF。
- 粗召回 100 条以上,重排后取 10–20 条,按评测调参。
- 权限、租户、时间过滤放在检索阶段。
- 分层评测:recall@k、faithfulness、端到端通过率。
- 索引有版本、更新有记录,答案带来源。
RAG 的效果上限,取决于你的检索能不能把对的那一段,放到模型眼前。
参考与延伸阅读
- Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks(arXiv)
- Contextual Retrieval(Anthropic)
- Seven Failure Points When Engineering a Retrieval Augmented Generation System(arXiv)
- RAGAS: Automated Evaluation of Retrieval Augmented Generation(arXiv)
- MTEB 官方文档(embedding 评测基准)
- Reciprocal rank fusion(Elasticsearch 官方文档)
外链内容由对应网站负责,访问以实际可用性为准。