PATH 05高级(研究向)持续学习(建议先打底 12 周,之后长期跟踪)
具身智能 / 前沿
让模型拥有身体:从策略学习到 VLA 复现
具身智能不是一门能「学完」的课,所以路线设计成「先补共同语言、再进当前主线、最后建立长期跟踪机制」。前三周用强化学习建立策略、回报、探索这些概念,否则后面读论文会一直被符号卡住;接着用模仿学习理解真实机器人数据从哪来、为什么行为克隆会失败;第三阶段进入当前最热的 VLA,把视觉语言模型与动作输出接起来;第四阶段回到工程现实,用 Sim2Real 处理仿真与真实的差距;最后是长期能力:复现论文、建立信息管道、持续更新。建议每阶段 2–3 周打底,之后保持每周精读一篇论文。学完你具备进入具身智能团队的基础,也能清楚判断自己该补哪一块。
1
强化学习:策略、回报与探索
第 1–3 周目标:
- 掌握 MDP、值函数、策略梯度与 Actor-Critic 的核心思想
- 能手写 DQN 并用 PPO 调通一个 Gymnasium 环境
- 理解 on-policy 与 off-policy、样本效率与稳定性的差异
- 能设计奖励函数并用多种子评估策略
重点内容:
- MDP 与 Bellman 方程
- Q-learning 与 DQN
- 策略梯度与 PPO
- 探索与奖励塑形
- 向量化环境与并行采样
- 多种子评估与方差
Sutton & Barto《Reinforcement Learning》 ↗OpenAI Spinning Up ↗Gymnasium 文档 ↗Stable-Baselines3 文档 ↗动手学强化学习 ↗
动手:在 CartPole 与 LunarLander 上分别实现 DQN 与 PPO,跑 5 个随机种子,输出均值±方差与训练曲线。
过关:两个环境都达到解决阈值;能解释 PPO 的 clip 与 GAE 作用;实验结果多种子可复现。
2
模仿学习:真实机器人数据从哪来
第 3–5 周目标:
- 理解行为克隆、DAgger、逆强化学习与扩散策略的差别
- 能使用公开数据集或仿真环境训练一个操作策略
- 掌握观测与动作空间设计、遥操作数据采集流程
- 能分析 covariate shift 导致的失败模式
重点内容:
- 行为克隆与分布偏移
- DAgger 与交互式修正
- ACT 与 Diffusion Policy
- 遥操作与数据采集
- Open X-Embodiment、DROID 等数据集
- 策略评估与 rollout 设计
动手:用 LeRobot 或 robomimic 在仿真操作任务上训练行为克隆策略,比较 10、50、100 条演示数据下的成功率。
过关:策略成功率显著高于随机;有数据量-成功率曲线;能说清失败样本的分布偏移原因。
3
VLA:把视觉语言知识接到动作上
第 5–8 周目标:
- 理解 VLA 的架构范式:VLM 主干加动作头或扩散头
- 能跑通 OpenVLA 或 π0 系列开源模型的推理
- 理解动作 token 化、离散与连续动作表示的取舍
- 能基于 LoRA 做小规模微调并在基准上评测
重点内容:
- RT-1、RT-2 与大规模机器人数据
- OpenVLA 架构与训练
- π0 / π0.5 与流匹配动作头
- 动作表示:离散 token vs 连续
- LoRA 微调与数据配比
- LIBERO、SimplerEnv 评测协议
动手:在 LIBERO 或 SimplerEnv 上跑通 OpenVLA 或 π0 基线,复现论文表格中 1–2 行,并做一次 LoRA 微调对比。
过关:基准成功率与论文差距小于 5%;微调后指标有可测变化;记录显存、推理延迟与成本。
4
Sim2Real:从仿真到真实世界
第 8–10 周目标:
- 理解域随机化、系统辨识与域适应的适用边界
- 能定位并量化 sim-real 的主要差异(视觉、物理、延迟)
- 能在 Isaac Lab 或 MuJoCo 中跑通训练到迁移的实验
- 能给出真实部署的安全与恢复方案
重点内容:
- 域随机化与课程学习
- 系统辨识与物理参数校准
- 视觉差异:渲染、光照、噪声
- 延迟、控制频率与传感器标定
- 真实部署栈与安全监控
- 数据闭环与在线改进
动手:在 Isaac Lab 训练一个抓取或移动策略,做域随机化消融实验,再迁移到 MuJoCo(有余力再上真机)。
过关:有 sim→sim 迁移结果与随机化消融;能列出 3 个主要 sim-real gap 及对应缓解手段;实验可复现。
5
复现与论文跟踪:长期能力
第 10 周起(长期)目标:
- 建立每周论文筛选、精读与归档的固定流程
- 能对一个开源具身模型做严格复现或详细复现计划
- 会写技术报告与复现博客,说清假设与失败
- 维护自己的研究问题清单与算力预算
重点内容:
- 论文三遍阅读法
- 复现工程:环境、种子、日志
- 算力规划与实验排队
- 会议与社区(CoRL、ICRA、RSS、NeurIPS)
- 技术写作与开源协作
- 信息源管理与去噪
动手:选一篇近 6 个月的 VLA 或具身论文,完成最小复现或详细复现计划,输出一篇技术报告并开源代码。
过关:报告包含动机、方法、实验与失败分析;代码可跑;论文跟踪表连续更新至少 4 周。
常见坑
- 跳过强化学习直接抄 VLA 代码,调不动也不知道为什么
- 只看 Demo 视频,不读评测协议与基线设置
- 忽视数据采集成本与质量,以为换个大模型就能解决
- 算力规划不足,训练到一半被迫中断
- 把仿真成功率当成真实能力,忽略 sim2real 差距
RELATED
全部文章 →相关文章
VLA 模型:视觉-语言-动作模型到底在解决什么问题
讲清 VLA 要解决的泛化问题、token/动作块/连续生成三种动作表示、预训练与后训练路线,以及长程任务、精度与安全上的现实边界。
2026-11-21阅读 →
Sim2Real:仿真里练会的,为什么到真机就崩
从动力学差距与分布差距拆解 reality gap,讲系统辨识、域随机化、教师-学生的做法,给出阶跃拟合代码、部署顺序与常见坑。
2026-11-21阅读 →
强化学习入门:状态、动作、奖励,以及它和监督学习的根本区别
从状态、动作、奖励和回报讲起,用 MDP 与价值函数搭起强化学习的骨架,对比它和监督学习的根本区别,再说明值函数、策略梯度与 DQN 的思路和常见坑。
2026-11-21阅读 →
具身智能:给机器人装上“大脑”,现在到哪一步了
具身智能不是给机器人装个聊天框。本文梳理本体、感知、策略三层技术栈,盘点 RT-2 到 Gemini Robotics 的关键进展,说清当前能力边界,并给出一条可落地的跟进路线。
2026-11-21阅读 →