VLA(Vision-Language-Action)是过去三年具身智能最热的方向:把视觉、语言和动作塞进同一个模型,让机器人看着画面、听着指令,直接输出动作。它解决的核心问题不是"控制精度",而是泛化——同一个模型能否在没见过的物体、没听过的说法、甚至不同的机器人上工作。但 VLA 也不是万能锤,理解它擅长什么、边界在哪,比追新论文更重要。本文讲清问题定义、三种动作表示、训练路线与现实边界,并给出一条能落地的实践路径。
一、VLA 要解决什么问题
传统机器人软件是分层流水线:感知、状态估计、规划、控制各管一段,接口由人设计。这种结构稳定、可调试,但语言指令很难贯穿到底——"把红色杯子放到盘子里"要先被翻译成物体检测、抓取位姿、路径规划,任何一环出错都会失败。VLA 把这条链路压缩成一个策略:输入图像和指令,输出动作,用互联网视觉语言数据预训练来的语义知识弥补机器人数据的稀缺。
| 传统分层系统 | 端到端 VLA | |
|---|---|---|
| 语义泛化 | 靠检测/分割模型,换类别要重训 | 继承 VLM 的开放词汇能力 |
| 可解释性 | 每层都有中间结果 | 弱,出了问题难定位 |
| 精度与实时性 | 可针对控制专门优化 | 受推理延迟与动作表示限制 |
| 数据需求 | 每类任务单独采数据 | 可复用多机器人、多任务数据 |
所以 VLA 的定位是"高层技能执行器":擅长理解"做什么",不擅长保证"做到多准"。
二、动作怎么表示:token、chunk 还是连续轨迹
VLA 和纯 VLM 的唯一区别是多了动作输出,而动作怎么表示决定了模型的性格。主流有三条路线:
- 离散 token:把每个动作维度分箱,动作变成词表里的 token,直接复用语言模型的训练与推理。RT-2 把动作维度离散成 256 个 bin;OpenVLA 同样用离散化动作,让 7B 模型能像生成文本一样生成动作。
- 动作块(action chunking):一次预测未来若干步的动作序列,而不是单步。ACT 用 Transformer 加动作块在 ALOHA 上做双臂精细操作,显著缓解了单步预测的抖动与累积误差。
- 连续生成:用扩散或 flow matching 直接回归连续动作。π0 在 VLM 上加了一个动作专家,用 flow matching 输出连续动作序列,论文中报告可支持到较高的控制频率(具体数值以论文与官方说明为准)。
| 路线 | 代表 | 优点 | 代价 |
|---|---|---|---|
| 离散 token | RT-2、OpenVLA | 与 LLM 生态兼容,训练简单 | 精度受分箱限制,解码慢 |
| 动作块 | ACT、ALOHA | 平滑、抗抖动,适合接触任务 | 块内开环,遇到扰动无法及时反应 |
| 连续生成 | π0 | 高精度、高频,适合灵巧操作 | 训练与部署更复杂 |
动作块的隐藏好处是推理一次可执行多步,把推理延迟摊薄;这也是真机部署普遍采用"VLA 出参考、底层高频控制器跟踪"的原因。
三、训练:预训练、联合训练与后训练
数据是 VLA 的命门:单个实验室不可能为每个任务采百万条轨迹,所以主流做法是先在视觉语言数据上预训练,再在机器人数据上联合训练或微调。2023 年的 Open X-Embodiment 汇集了 22 种机器人、21 家机构、527 种技能、16 万级任务的数据(数字见论文摘要),并训练出 RT-X 系列模型,验证了跨机器人正迁移:别的机器人的经验能帮助当前机器人。
训练链条通常是三段:VLM 预训练 → 机器人数据联合训练 → 目标任务后训练(全参或 LoRA)。真正的坑在数据格式与动作归一化:不同机器人动作空间不同(7 维末端增量、关节角、夹爪开合),不同数据集的归一化分位数也不同,推理时必须用训练时的同一套参数反归一化,否则输出的动作数值完全不对。
下面这段代码不依赖任何模型权重,展示部署时最容易被忽略的两件事——归一化与动作块执行:
import time
import numpy as np
class ActionCodec:
"""与训练数据集一致的归一化:1%/99% 分位数映射到 [-1, 1]。"""
def __init__(self, low, high):
self.low = np.asarray(low, dtype=np.float32)
self.high = np.asarray(high, dtype=np.float32)
def encode(self, action):
return 2.0 * (action - self.low) / (self.high - self.low) - 1.0
def decode(self, action):
action = np.clip(action, -1.0, 1.0)
return self.low + (action + 1.0) * 0.5 * (self.high - self.low)
def execute_chunk(chunk, codec, hz=10, max_delta=None):
"""模拟:策略一次输出一个动作块,底层以 hz 频率执行。"""
prev = None
for step, norm_action in enumerate(chunk):
action = codec.decode(np.asarray(norm_action, dtype=np.float32))
if prev is not None and max_delta is not None:
action = np.clip(action, prev - max_delta, prev + max_delta)
# 真机上这里发布 ROS 2 指令或调用控制器
print(f'step {step}: {np.round(action, 4)}')
prev = action
time.sleep(1.0 / hz)
if __name__ == '__main__':
codec = ActionCodec([-0.5, -0.5, -1.0], [0.5, 0.5, 1.0])
fake_chunk = np.random.uniform(-1, 1, size=(8, 3))
execute_chunk(fake_chunk, codec, hz=10, max_delta=0.1)
注意最后一步的限幅:真实系统必须限制每步动作变化量,否则模型输出一次异常值就可能让机械臂猛撞。策略再聪明,安全层也不能省。
四、现实边界:VLA 不擅长什么
论文视频容易让人高估能力,下面这些边界值得在立项前想清楚:
- 长程任务:单次 VLA 推理通常只覆盖几秒的动作,几十分钟的任务需要上层规划器拆解、检查与重试。
- 高精度接触:插孔、拧螺丝、折叠薄片依赖力控、柔顺控制与触觉,单靠视觉策略很难稳定。
- 实时性:大模型推理有延迟,而控制环需要稳定频率;必须用动作块、异步推理或分层控制掩盖。
- 评测可信度:小样本、不同初始条件、不同成功判定标准下的成功率不可横比。
- 安全:VLA 没有形式化保证,必须外挂限速、限力、急停和碰撞检测。
判断一个 VLA 工作是否值得跟,先看它解决哪条边界:泛化、跨本体、控制频率还是数据成本。只报成功率而不说评测协议的,参考价值有限。
五、上手路线:从跑通到复现
不建议一上来就训练大模型。更现实的路线是:
- 选一个公开基准或仿真环境跑通推理(例如 LIBERO 这类操作基准,或 LeRobot 提供的仿真环境),先确认数据、模型、动作反归一化三者对得上。
- 用遥操作采集几十条单一任务的演示,固定相机、工位与初始位置。
- 用 LoRA 或小学习率微调开源 VLA,先追平基线,不追 SOTA。
- 固定协议评测:同一初始条件、同一成功判定,记录失败类型而不是只记成功率。
- 做失败分类,再决定加数据、换动作表示,还是用传统控制补精度。
git clone https://github.com/huggingface/lerobot.git
cd lerobot && pip install -e .
git clone https://github.com/openvla/openvla.git
# 模型权重、依赖与推理接口以两个仓库的 README 及 Hugging Face 模型卡为准
开源生态变化很快,仓库名、分支和接口都可能调整;上面命令只是入口,真正的版本与参数请以官方 README 为准。别抄三年前的博客,尤其是模型加载和 action 反归一化部分。
六、常见坑与项目清单
- 反归一化用错数据集的分位数,动作幅度整体放大或缩小,表现为"能动但完全不对"。
- 推理时的图像尺寸、视角、颜色空间与训练不一致,能力骤降;指令措辞换了也不会泛化。
- 动作空间不匹配:训练是增量控制,部署按绝对位置下发,机器人直接飞出去。
- 忽略推理延迟,动作块用完才发下一块,机器人走走停停。
- 为了跑通关掉安全限幅,一次异常输出就可能损坏设备。
- 只挑成功视频做展示,不记录失败率与失败类型,项目无法迭代。
| 任务 | 验收标准 |
|---|---|
| 跑通一个开源 VLA 的推理 | 输入图像与指令后输出动作维度、范围正确 |
| 实现归一化 / 反归一化并写单测 | encode 后再 decode 能还原原始动作(误差可解释) |
| 采 30–50 条演示并微调 | 固定评测协议下失败类型有记录 |
| 做一次消融 | 能说明是数据、动作表示还是模型规模带来的差异 |
| 接入安全层 | 限速、限幅、急停全部生效并有测试 |
VLA 最有价值的不是"取代传统机器人栈",而是把语义理解接进了动作生成。把它放在合适的位置——高层决策与技能执行——再配一个可靠的低层控制和安全层,才是今天工程上更稳的组合。
参考与延伸阅读
- RT-2: Vision-Language-Action Models(arXiv)
- Open X-Embodiment: Robotic Learning Datasets and RT-X Models(arXiv)
- π0: A Vision-Language-Action Flow Model for General Robot Control(arXiv)
- ACT: Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware(arXiv)
- OpenVLA: An Open-Source Vision-Language-Action Model(arXiv)
- OpenVLA GitHub 仓库
外链内容由对应网站负责,访问以实际可用性为准。