「要不要微调」是 AI 应用里最容易被带偏的问题之一。有人拿微调当知识库,往里灌产品文档;有人明明只要改一句提示,却先租了 GPU;也有人把 LoRA 当成万能加速键,训完发现线上没变好。问题通常不在技术,而在没分清每种手段到底改变模型的什么。

先给结论:微调擅长改变「怎么做」,RAG 擅长补充「知道什么」。两者不是替代关系,而是不同层的问题。

一、先分清三种改变模型行为的方式

  • 提示与上下文:不改权重,改的是这次推理看到的内容。最快、最便宜,适合规则明确、事实可以现给的任务。
  • RAG:不改权重,把外部文档检索后放进上下文。适合私有知识、频繁更新、需要引用来源的任务。
  • 微调:改权重,让模型把某种输入输出映射「练」进参数。适合稳定格式、领域话术、特定任务模式,以及用小模型替代大模型的成本优化。

微调内部还要再分一层:全参微调更新所有权重,显存和算力开销大,数据少时容易过拟合与灾难性遗忘;参数高效微调(PEFT)只训练一小部分参数,LoRA、QLoRA 都属于这一类,是当前个人和小团队更现实的选择。

三种手段也可以叠加:常见组合是「RAG 提供事实 + 微调小模型稳定格式与话术 + 提示控制当次任务」。真正要避免的是用错层——把知识塞进权重,或把格式要求寄托在检索上。

判断顺序建议:先问「提示能不能解决」,再问「检索能不能解决」,最后才问「微调能不能解决」。反过来做,通常多花几周时间换来一个更差的结果。

二、原理:LoRA 与 QLoRA 省在哪

全参微调时,显存不只放权重,还要放梯度、优化器状态和激活值。以 Adam 为例,优化器要为每个参数保存两份状态,训练显存常是模型权重的数倍。这就是为什么「模型能加载」和「模型能训练」是两回事。

LoRA 的做法是冻结原权重 W,只学习一个低秩增量 ΔW = B·A,其中 r 远小于原矩阵维度。训练时只更新 A、B,推理时可以把增量合并回 W,不增加推理延迟。LoRA 论文在 GPT-3 175B 上报告:可训练参数减少约 10,000 倍,GPU 显存需求降低约 3 倍,效果与全参微调相当或更好。这些是论文设定下的结论,换模型和任务仍需自己验证。

QLoRA 在 LoRA 基础上把基座量化为 4-bit(NF4),再加双量化和分页优化器,进一步压低显存。QLoRA 论文报告可在单张 48GB GPU 上微调 65B 模型,并保持 16-bit 微调的效果。实践中更常听到的是「单卡 24GB 训 7B/8B」,是否能跑通取决于序列长度、batch size、梯度累积和是否开启梯度检查点,必须按自己的配置实测显存。

三、决策表:微调、LoRA、RAG 怎么选

你的需求首选说明
知识频繁更新,答案要引用来源RAG更新索引即可,不必重训
固定输出格式、术语、口吻LoRA / SFT格式与风格是微调的强项
分类、抽取、改写等任务模式SFT(LoRA 起步)有几百到几千条标注样本更稳
数据不能出内网本地 LoRA + 本地 RAG先确认模型许可证
只有几十条样本few-shot + 评测数据量不足时微调风险很高
想把大模型换成小模型降本蒸馏 + LoRA先验证小模型的下限
复杂推理、多跳问答更强基座 + RAG/工具微调带来的提升通常有限
多轮工具调用策略先做工作流与评测需要轨迹数据,失败成本高

一项常被引用的对比研究(Ovadia 等,2023)在知识密集型任务上比较了无监督微调与 RAG,结论是 RAG 在注入新知识和更新已有知识上都更稳定;微调则更适合学习任务形式与输出模式。这也解释了为什么「用微调让模型记住公司文档」大多会失望:模型学到了语气,却没记住事实。

四、最小实践路径(含 LoRA 代码)

  1. 定义任务与指标:不是「效果更好」,而是字段准确率、任务通过率、格式合法率。上线门槛提前写死。
  2. 先做 baseline:用提示 + RAG 跑一遍同一评测集,记录分数。没有 baseline 的微调结果没有意义。
  3. 准备数据:通常几十到几千条高质量样本即可起步;输入输出成对、覆盖边界、去重;按时间或来源划分训练/验证/测试,避免同源泄漏。
  4. 选基座与方式:显存有限先 QLoRA;先小模型验证流程,再上更大的基座。
  5. 训练:LoRA 常见起点是 r=8–16、alpha 取 2r、学习率 1e-4 到 2e-4、1–3 个 epoch;这些只是起点,不是最优值。
  6. 评测:在同一测试集上与 baseline 配对比较,按错误类型切片看,而不是只看总分。
  7. 部署:adapter 单独加载或合并进基座;上线后监控输入分布漂移和失败率。
# 依赖:transformers>=4.40, peft>=0.10, accelerate
# 显存不足时改用 4bit 加载(bitsandbytes),即 QLoRA 路线
from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import LoraConfig, get_peft_model

name = "Qwen/Qwen2.5-1.5B-Instruct"  # 换成你要微调的基座
tokenizer = AutoTokenizer.from_pretrained(name)
model = AutoModelForCausalLM.from_pretrained(name, device_map="auto")

cfg = LoraConfig(
    r=8,
    lora_alpha=16,
    lora_dropout=0.05,
    target_modules=["q_proj", "k_proj", "v_proj", "o_proj"],
    task_type="CAUSAL_LM",
)
model = get_peft_model(model, cfg)
model.print_trainable_parameters()

注意 target_modules 的名称随模型结构不同而不同,先用 model.named_modules() 确认;训练循环建议用 TRL 的 SFTTrainer,具体参数以官方文档为准。显存不够时依次尝试:缩短序列长度、减小 batch、开梯度累积、开梯度检查点、降低 LoRA 覆盖层数。

五、评测与回归:别只看训练 loss

训练 loss 下降只说明模型更会拟合训练数据,不说明任务变好。至少做三件事:

  • 配对比较:微调模型与 baseline 在同一测试集上逐题比较,报告通过率和失败类型。
  • 能力回归:留一小批通用任务(指令遵循、格式、常识)检测灾难性遗忘。
  • 数据审计:测试集有没有混进训练数据;训练数据是否由模型生成且未经审核;是否存在重复样本。

还要把「答错」和「拒答」分开统计。微调后的模型可能变得更保守,通过率没降但覆盖率掉了;也可能相反,什么都敢答。两类错误要各自看比例,再决定是否上线。

六、常见坑

  • 把微调当知识库,文档更新后模型还停在旧版本。
  • 数据质量差:模板化严重、答案由模型生成未审核、标签不一致。
  • 训练集和测试集同源,分数虚高,上线即翻车。
  • 只调 r 和 epoch,不检查数据与评测集。
  • 用全参微调跑小数据,过拟合且遗忘通用能力。
  • 忽略模型许可证与数据合规,尤其是商用场景。
  • 上线后不监控,输入分布一变,效果悄悄退化。
  • 把「单卡能跑」当成「效果够用」,没有和 baseline 对比。

七、可执行清单

  1. 写下任务指标和上线门槛,先跑 prompt + RAG 的 baseline。
  2. 收集 100–1000 条真实、成对、去重的样本。
  3. 按来源或时间切分训练/验证/测试,避免泄漏。
  4. 先用 LoRA 小规模验证流程,再决定是否扩大。
  5. 记录基座版本、数据版本、超参和随机种子。
  6. 在同一测试集上做配对评测,并按错误类型切片。
  7. 加入 50–100 条通用能力样本做回归。
  8. 上线后监控失败率和分布漂移,保留回滚版本。
先把评测做对,再决定要不要微调。顺序反了,训练越久,错得越贵。

参考与延伸阅读

外链内容由对应网站负责,访问以实际可用性为准。