RAG 与知识库

让模型回答「它没记住」的事,而且答得有出处

RAG(Retrieval-Augmented Generation,检索增强生成)在模型回答之前,先从外部知识库里检索相关片段,拼接进上下文再生成。它把「模型记住了什么」与「系统能查到什么」解耦,让私有文档、时效信息和可溯源引用成为可能,是目前企业落地最广的 LLM 架构之一。

为什么不能只靠长上下文

上下文窗口已经扩展到十万 Token 级别,但把整本手册塞进提示词依然昂贵,而且模型对长上下文中部信息的利用并不稳定。检索的价值在于只给模型相关的那几段,同时带来引用来源、权限过滤和知识更新的能力。换句话说,RAG 首先是一个信息检索系统,其次才是生成系统。它的核心假设是:模型不必记住所有知识,只要能读到正确的材料。

一条完整的链路

一条完整的 RAG 链路包含四步,每一步都可以单独评估,不要跳过任何一步。

  • 解析:PDF、表格、网页的解析质量,往往比换模型更影响最终结果。
  • 切分与索引:按语义切分 chunk,配合 embedding 与向量库,保留标题、页码等元数据。
  • 检索:向量检索加 BM25 混合召回,再用 reranker 精排;查询改写能明显改善口语化提问。
  • 生成与评测:要求模型标注引用来源,用固定问题集衡量召回率与忠实度。

学习顺序与误区

先用一百篇文档搭一个能跑通的最小系统,再逐项替换组件,每次改动都跑同一套评测。遇到效果瓶颈时,先确认检索有没有召回正确片段,而不是急着换更大的模型。切分策略、混合检索和 rerank,通常比更换生成模型带来的收益更直接。如果没有评测集,就先人工标注三十到五十个问题,作为后续所有改动的基准。

常见误区:只调 embedding 模型不看切分;没有评测集;把「没检索到」误判为模型幻觉;忽略权限与数据隔离。

知识库不是一次性工程。文档更新、索引重建和权限变更,都要在系统设计时就留好位置。小团队最容易忽略的是解析环节,一份排版复杂的 PDF 就能让召回率大幅下降。

这个专题要回答的问题

  • RAG 和把文档直接塞进长上下文,哪个更好?
  • chunk 应该切多大?重叠多少合适?
  • 向量检索效果差,应该换 embedding 模型还是加 rerank?
  • 用户问题很口语化,检索不到怎么办?
  • 怎么评估一个 RAG 系统到底好不好?
  • 知识库更新后,索引要怎么维护?

精选资源

ARTICLES

相关文章

全部文章 →