具身智能(embodied AI)指的是有物理身体、能通过「感知—决策—行动」闭环与真实世界交互的智能系统。关键词是闭环:环境的变化会进入下一步决策,动作的后果又反过来改变环境。
所以它不是「给机器人接一个大模型当客服」,也不是「让机械臂按固定轨迹重复动作」。前者缺行动,后者缺适应。具身智能要解决的是:在没见过的场景里看懂情况、决定做什么,再稳定地做出来。
一个具体例子:让机器人「把桌上的杯子收进柜子」。它要先找到杯子、判断材质和能不能抓、规划手臂路径、控制力度、把杯子放进柜子、再确认没洒。任何一步失败,都要能发现并重试。这段对人类很普通的操作,包含了感知、常识、控制和纠错的全部难点。
技术栈:三层,最难的往往不是模型
- 本体与执行层:机械臂、灵巧手、移动底盘、人形机器人,以及电机、减速器、力控和实时控制。这层决定动作精度、速度和安全性。
- 感知与状态估计:相机、深度、触觉、力传感器,加上标定、定位和物体位姿估计。真实世界的噪声、遮挡、光照变化,远比仿真难。
- 策略层(大脑):把「看到的画面 + 听到的指令」映射成动作序列。现在的主流方向是 VLA(Vision-Language-Action)模型:以视觉语言模型为骨干,直接输出机器人动作。
除了数据,实时性也是硬约束:常见控制环路在毫秒级,而大模型推理更慢,所以不少系统采用「大模型负责理解与规划、小模型或动作头负责高频执行」的分层结构。
真正的瓶颈常在第二层和第三层之间:数据。大模型可以吃互联网文本,机器人数据得一条条采:遥操作、演示、失败重试。采集成本高,不同本体的动作格式又不统一,这是具身智能比大模型慢很多的根本原因。
这也是为什么很多团队先做「固定场景 + 少量任务」:把变量控制住,数据才采得起、模型才训得动。通用性不是不追求,而是顺序问题。
关键进展:从「单任务」到「跨本体」
| 时间 | 工作 | 为什么重要 |
|---|---|---|
| 2023 | RT-2 | 把机器人动作表示成文本 token,用互联网视觉语言数据与机器人轨迹联合微调,让网页知识迁移到控制上,也让 VLA 这个说法流行起来。 |
| 2023 | Open X-Embodiment / RT-X | 汇集 21 家机构、22 种机器人、527 种技能、16 万余个任务的数据,验证了在一个本体上学到的东西能帮到另一个本体。 |
| 2024 | π0(pi-zero) | 在预训练视觉语言模型上接 flow matching 动作头,用多平台数据训练通用策略,演示了叠衣服、清理桌面、组装纸箱等灵巧任务。 |
| 2025 | Gemini Robotics | 基于 Gemini 2.0 的 VLA 模型,把多模态推理和机器人控制结合;官方报告称新的短程任务可用少至 100 次演示学会,并能适配新本体。 |
这条线的共同点是:把机器人控制问题,尽量转化成「预训练 + 少量适配」的问题,路径和自然语言处理从「一任务一模型」走向「一个基座模型」很像。
现在到哪一步:能做什么,不能做什么
| 已经比较可靠 | 仍然很难 |
|---|---|
| 结构化环境里的抓取、放置、分拣 | 开放环境中的长程任务,比如几十步、中途有人干扰 |
| 短指令、单步或少数几步的操作 | 需要精确力控,或处理柔性、透明、反光物体 |
| 同一本体、相似场景的重复任务 | 换机器人、换环境之后的泛化 |
| 演示数据充足的任务 | 数据稀缺、失败代价高的任务 |
| 仿真里的大规模训练和评测 | 从仿真到真机的迁移(sim-to-real gap) |
一句话概括:「看得懂、抓得准」在变好,「做得久、换得动」还很弱。很多演示视频看着惊艳,但剪辑掉了失败次数,也不会告诉你换一张桌子、换一种杯子还能不能成。评估具身智能,别只看一条成功视频,要看成功率、失败恢复和跨场景测试。
另一个容易被忽略的指标是失败恢复:抓空了能不能重抓,物体掉了能不能捡起来,指令说错了能不能停下来问。会失败不可怕,失败了直接卡死才可怕。
还有一个现实约束:评测本身很难统一。同一段演示,换任务定义、换成功标准,结论可能完全不同。这也是产业界更信自己场景里真机测试的原因。
冷静看:三个常见的夸大说法
- 「通用机器人马上进家庭」:家庭是非结构化环境的极端案例,物品几乎无限多、容错极低。更现实的顺序是工厂、仓储等结构化场景先落地。
- 「有了大模型,机器人自然就会了」:大模型提供语义理解和常识,但动作精度、实时性、安全性靠控制、数据和工程,不会凭空涌现。
- 「数据不够就上仿真」:仿真能补规模,但物理参数、传感器噪声、接触模型的偏差会形成 sim-to-real gap,仍然需要真机数据校准。
跟进路线:从仿真和开源开始
- 补基础:机器人学入门(运动学、坐标变换),加上模仿学习和强化学习的基本概念,不用一上来啃论文。
- 跑仿真:用 MuJoCo、Isaac 系列等仿真环境,或直接用 LeRobot 这类开源库,把「采集数据 → 训练策略 → 评测」跑通一遍。
- 看开源代码:LeRobot 提供数据集格式、策略实现和真机接入示例,适合当第一个工程入口。
- 读五篇关键论文:RT-2、Open X-Embodiment、π0、Gemini Robotics,再加一篇 VLA 综述,足够建立完整地图。
- 做一个小项目:固定一个任务,比如把积木按颜色分拣,记录成功率、失败类型和改进前后的对比。这比看一百个视频有用。
预算有限的话,优先投入在数据和评测上,而不是追最新的模型结构。一个能稳定复现的任务基线,比一个跑分更高的模型更能帮你判断进展。
具身智能的进展是真实的,但更像早期的大模型:方向已经被验证,离「随便换个场景就能用」还有距离。判断它,看数据、看成功率、看失败恢复,不看宣传片。
参考与延伸阅读
- RT-2: Vision-Language-Action Models Transfer Web Knowledge to Robotic Control(arXiv)
- Open X-Embodiment: Robotic Learning Datasets and RT-X Models(arXiv)
- π0: A Vision-Language-Action Flow Model for General Robot Control(arXiv)
- Gemini Robotics: Bringing AI into the Physical World(arXiv)
- A Survey on Vision-Language-Action Models for Embodied AI(VLA 综述)
- LeRobot:Hugging Face 开源机器人学习库
外链内容由对应网站负责,访问以实际可用性为准。