PATH 05高级(研究向)持续学习(建议先打底 12 周,之后长期跟踪)

具身智能 / 前沿

让模型拥有身体:从策略学习到 VLA 复现

具身智能不是一门能「学完」的课,所以路线设计成「先补共同语言、再进当前主线、最后建立长期跟踪机制」。前三周用强化学习建立策略、回报、探索这些概念,否则后面读论文会一直被符号卡住;接着用模仿学习理解真实机器人数据从哪来、为什么行为克隆会失败;第三阶段进入当前最热的 VLA,把视觉语言模型与动作输出接起来;第四阶段回到工程现实,用 Sim2Real 处理仿真与真实的差距;最后是长期能力:复现论文、建立信息管道、持续更新。建议每阶段 2–3 周打底,之后保持每周精读一篇论文。学完你具备进入具身智能团队的基础,也能清楚判断自己该补哪一块。

1

强化学习:策略、回报与探索

第 1–3 周

目标:

  • 掌握 MDP、值函数、策略梯度与 Actor-Critic 的核心思想
  • 能手写 DQN 并用 PPO 调通一个 Gymnasium 环境
  • 理解 on-policy 与 off-policy、样本效率与稳定性的差异
  • 能设计奖励函数并用多种子评估策略

重点内容:

  • MDP 与 Bellman 方程
  • Q-learning 与 DQN
  • 策略梯度与 PPO
  • 探索与奖励塑形
  • 向量化环境与并行采样
  • 多种子评估与方差
动手:在 CartPole 与 LunarLander 上分别实现 DQN 与 PPO,跑 5 个随机种子,输出均值±方差与训练曲线。
过关:两个环境都达到解决阈值;能解释 PPO 的 clip 与 GAE 作用;实验结果多种子可复现。
2

模仿学习:真实机器人数据从哪来

第 3–5 周

目标:

  • 理解行为克隆、DAgger、逆强化学习与扩散策略的差别
  • 能使用公开数据集或仿真环境训练一个操作策略
  • 掌握观测与动作空间设计、遥操作数据采集流程
  • 能分析 covariate shift 导致的失败模式

重点内容:

  • 行为克隆与分布偏移
  • DAgger 与交互式修正
  • ACT 与 Diffusion Policy
  • 遥操作与数据采集
  • Open X-Embodiment、DROID 等数据集
  • 策略评估与 rollout 设计
动手:用 LeRobot 或 robomimic 在仿真操作任务上训练行为克隆策略,比较 10、50、100 条演示数据下的成功率。
过关:策略成功率显著高于随机;有数据量-成功率曲线;能说清失败样本的分布偏移原因。
3

VLA:把视觉语言知识接到动作上

第 5–8 周

目标:

  • 理解 VLA 的架构范式:VLM 主干加动作头或扩散头
  • 能跑通 OpenVLA 或 π0 系列开源模型的推理
  • 理解动作 token 化、离散与连续动作表示的取舍
  • 能基于 LoRA 做小规模微调并在基准上评测

重点内容:

  • RT-1、RT-2 与大规模机器人数据
  • OpenVLA 架构与训练
  • π0 / π0.5 与流匹配动作头
  • 动作表示:离散 token vs 连续
  • LoRA 微调与数据配比
  • LIBERO、SimplerEnv 评测协议
动手:在 LIBERO 或 SimplerEnv 上跑通 OpenVLA 或 π0 基线,复现论文表格中 1–2 行,并做一次 LoRA 微调对比。
过关:基准成功率与论文差距小于 5%;微调后指标有可测变化;记录显存、推理延迟与成本。
4

Sim2Real:从仿真到真实世界

第 8–10 周

目标:

  • 理解域随机化、系统辨识与域适应的适用边界
  • 能定位并量化 sim-real 的主要差异(视觉、物理、延迟)
  • 能在 Isaac Lab 或 MuJoCo 中跑通训练到迁移的实验
  • 能给出真实部署的安全与恢复方案

重点内容:

  • 域随机化与课程学习
  • 系统辨识与物理参数校准
  • 视觉差异:渲染、光照、噪声
  • 延迟、控制频率与传感器标定
  • 真实部署栈与安全监控
  • 数据闭环与在线改进
动手:在 Isaac Lab 训练一个抓取或移动策略,做域随机化消融实验,再迁移到 MuJoCo(有余力再上真机)。
过关:有 sim→sim 迁移结果与随机化消融;能列出 3 个主要 sim-real gap 及对应缓解手段;实验可复现。
5

复现与论文跟踪:长期能力

第 10 周起(长期)

目标:

  • 建立每周论文筛选、精读与归档的固定流程
  • 能对一个开源具身模型做严格复现或详细复现计划
  • 会写技术报告与复现博客,说清假设与失败
  • 维护自己的研究问题清单与算力预算

重点内容:

  • 论文三遍阅读法
  • 复现工程:环境、种子、日志
  • 算力规划与实验排队
  • 会议与社区(CoRL、ICRA、RSS、NeurIPS)
  • 技术写作与开源协作
  • 信息源管理与去噪
动手:选一篇近 6 个月的 VLA 或具身论文,完成最小复现或详细复现计划,输出一篇技术报告并开源代码。
过关:报告包含动机、方法、实验与失败分析;代码可跑;论文跟踪表连续更新至少 4 周。

常见坑

  • 跳过强化学习直接抄 VLA 代码,调不动也不知道为什么
  • 只看 Demo 视频,不读评测协议与基线设置
  • 忽视数据采集成本与质量,以为换个大模型就能解决
  • 算力规划不足,训练到一半被迫中断
  • 把仿真成功率当成真实能力,忽略 sim2real 差距
RELATED

相关文章

全部文章 →