PATH 03中级(会 Python、用过 API)4–8 周(每天 1.5–2 小时)
大模型与 Agent
把模型当操作系统:提示、工具、记忆、评测四件套
顺序的理由是:先摸清模型,再控制它,最后验证它。第 1 周用 API 把 token、上下文、采样参数、费用这些工程量摸熟,知道模型能做什么、不能做什么;第 2–3 周练 Prompt 与结构化输出,这是所有上层能力的地基——输出不稳定,后面的 RAG 和工具调用都会崩;第 4 周补 RAG,让模型能回答私有知识并给出引用;第 5–6 周接工具与 MCP,把「会回答」升级成「会做事」;最后两阶段用评测收口,因为没有被量化的 Agent 只能算 Demo。每天 1.5–2 小时,每个阶段都有可运行的小交付,前一个阶段的产物直接成为下一个阶段的素材。学完你能独立设计并上线一个带评测的 Agent 应用,也能判断什么时候该用固定工作流而不是自治 Agent。
1
先摸清模型:能力、成本与边界
第 1 周目标:
- 理解 token、上下文窗口、采样参数与推理模型之间的取舍
- 能实现带重试、超时、限流与费用统计的 API 封装
- 能判断一个需求该用 Prompt、RAG 还是微调
- 能识别幻觉、越权与提示注入三类风险
重点内容:
- tokenization 与上下文管理
- temperature / top_p / 停止条件
- 推理模型与思维链
- 幻觉的成因与检测
- 成本、延迟与吞吐的三角
- API 工程化:重试、超时、降级
DeepSeek API 文档 ↗OpenAI Cookbook ↗OpenAI API 文档 ↗Chip Huyen《Building LLM applications for production》 ↗
动手:写一个「模型探针」脚本:同一任务用 3 组模型或参数组合各跑 20 次,输出延迟、token、费用与人工评分对比表。
过关:对比表可复现;能说出至少 2 个不该用 LLM 的任务及理由;成本估算与实际账单误差小于 15%。
2
Prompt 与上下文工程
第 2 周目标:
- 掌握角色设定、约束、few-shot、分步推理、输出格式等提示模式
- 能维护 Prompt 的版本与测试集,做 A/B 对比
- 理解上下文工程:放什么、放多少、按什么顺序放
- 能防御常见的提示注入与越权指令
重点内容:
- 指令结构与分隔符
- few-shot 示例选择
- CoT、自洽性与反思
- 提示注入与防御
- 上下文压缩、排序与缓存
动手:挑一个真实任务(如客服 FAQ 或商品标题生成),写 v1 到 v3 三版 Prompt,在 20 条自建测试集上对比通过率。
过关:v3 通过率比 v1 提升 20% 以上;有版本记录与失败案例库;Prompt 能被同事直接复用。
3
结构化输出与函数调用
第 3 周目标:
- 能用 JSON Schema 与结构化输出约束模型返回格式
- 会为校验失败设计自动修复循环
- 掌握 function calling 的协议、并行调用与错误回传
- 能把模型输出安全接入真实业务逻辑(幂等、白名单)
重点内容:
- JSON Schema 与 Pydantic 建模
- 结构化输出与 JSON 模式
- 工具与函数调用协议
- 校验失败与 repair 策略
- 幂等、重试与权限边界
动手:做一个「简历或发票信息抽取」小工具:输入文本,输出严格 JSON,字段缺失时自动追问或重试,并把结果写入 SQLite。
过关:50 条真实样本字段级准确率达到 90%;schema 校验失败率低于 2%;异常输入不会让程序崩溃。
4
RAG:让模型回答私有知识
第 3–4 周目标:
- 理解 RAG 全链路:切分、向量化、检索、重排、生成、引用
- 能为自己的文档集选择合适的分块与检索策略
- 会建检索评测集,量化命中率与召回率
- 能处理增量更新、权限过滤与引用溯源
重点内容:
- 文档解析与分块策略
- embedding 模型与向量库
- 混合检索与 rerank
- 引用、溯源与拒答
- RAG 评测指标与常见失败模式
动手:用 200 页以上的自有文档(手册、笔记或论文)搭一个带引用的问答系统,并建 30 条评测集。
过关:引用命中率达到 80%;对无答案问题能合理拒答;有「纯模型 vs RAG」的对比数据。
5
工具调用与 Agent 编排
第 5–6 周目标:
- 能让模型自主规划并调用多个工具完成闭环任务
- 会在 ReAct、Plan-Execute 与固定工作流之间做取舍
- 能用 MCP 标准接入外部工具与数据源
- 能处理长任务的状态、人工确认与失败恢复
重点内容:
- ReAct 与 reasoning-action 循环
- 工具设计:命名、描述、参数与错误
- 多工具编排与依赖
- MCP 协议与 server
- 记忆、状态与人在环
- 成本与步数上限
动手:做一个个人助理 Agent:查资料(搜索加本地 RAG)、写文件(沙箱目录),涉及外部动作时请求人工确认,全程记录轨迹。
过关:10 个真实任务中至少 7 个端到端完成;每步有工具入参、出参与耗时日志;有人工确认与中断恢复机制。
6
评测与上线:让 Agent 可被度量
第 6–8 周目标:
- 能建立任务级评测集与自动评分器(规则加 LLM-as-judge)
- 会做回归测试、线上采样与失败归因
- 能平衡成功率、延迟与成本三个指标
- 能完成一次小规模灰度上线并基于数据迭代
重点内容:
- 评测集构建与标注
- 规则评分与 LLM-as-judge 的偏差
- 轨迹评估与最终结果评估
- 回归测试与灰度发布
- 监控、日志与用户反馈闭环
- 安全评估与红队
动手:给前面的 Agent 建 50 条任务评测集、自动评分与简单看板,跑两轮迭代并写改进报告。
过关:成功率可量化提升且记录每次改动;每次改动有回归结果;失败能按检索、工具、提示、模型四类归因。
常见坑
- 用 Prompt 硬扛事实性问题,不用 RAG,导致幻觉频发
- 工具描述含糊、参数设计反人类,模型误调用后却归咎于模型
- 没有评测集就上线,改动全凭感觉
- 只学框架 API,不理解协议与状态机,换框架就得重来
- 忽视提示注入与工具权限,把写操作暴露给不可信输入
RELATED
全部文章 →相关文章
RAG 实战指南:切分、检索、重排与评测,一次讲清
RAG 的瓶颈常不在模型而在管线。本文按切分、检索、重排、评测四层拆解,说明混合检索与语境化切分的取舍,附最小可运行脚本、分层归因方法和选型决策表,帮你在自己的数据上定位问题。
2026-11-21阅读 →
Prompt 工程进阶:从"会问"到可复用、可评测的提示系统
把提示词当代码来维护:拆成可复用部件,用结构化输出锁住格式,用小型评测集配对比较改动效果。附最小可运行示例、选型对比表和常见坑清单,适合已把大模型接入业务的开发者。
2026-11-21阅读 →
大模型评测:怎么判断一个模型/提示"到底行不行"
评测不是跑排行榜,而是回答「这一版比上一版好还是差」。本文讲指标设计、LLM 裁判与人工校准的取舍,用 bootstrap 区间避免被噪声误导,并给出评测集建设与常见坑清单。
2026-11-21阅读 →
Agent 到底是什么?用一张图讲清它和聊天机器人的区别
用一张循环图讲清 Agent 和聊天机器人的区别:它如何规划、调用工具、根据结果调整,什么时候该用、什么时候不该用,以及如何从零搭一个最小 Agent 的五步清单。
2026-11-21阅读 →