VLA(Vision-Language-Action)是过去三年具身智能最热的方向:把视觉、语言和动作塞进同一个模型,让机器人看着画面、听着指令,直接输出动作。它解决的核心问题不是"控制精度",而是泛化——同一个模型能否在没见过的物体、没听过的说法、甚至不同的机器人上工作。但 VLA 也不是万能锤,理解它擅长什么、边界在哪,比追新论文更重要。本文讲清问题定义、三种动作表示、训练路线与现实边界,并给出一条能落地的实践路径。

一、VLA 要解决什么问题

传统机器人软件是分层流水线:感知、状态估计、规划、控制各管一段,接口由人设计。这种结构稳定、可调试,但语言指令很难贯穿到底——"把红色杯子放到盘子里"要先被翻译成物体检测、抓取位姿、路径规划,任何一环出错都会失败。VLA 把这条链路压缩成一个策略:输入图像和指令,输出动作,用互联网视觉语言数据预训练来的语义知识弥补机器人数据的稀缺。

传统分层系统端到端 VLA
语义泛化靠检测/分割模型,换类别要重训继承 VLM 的开放词汇能力
可解释性每层都有中间结果弱,出了问题难定位
精度与实时性可针对控制专门优化受推理延迟与动作表示限制
数据需求每类任务单独采数据可复用多机器人、多任务数据

所以 VLA 的定位是"高层技能执行器":擅长理解"做什么",不擅长保证"做到多准"。

二、动作怎么表示:token、chunk 还是连续轨迹

VLA 和纯 VLM 的唯一区别是多了动作输出,而动作怎么表示决定了模型的性格。主流有三条路线:

  1. 离散 token:把每个动作维度分箱,动作变成词表里的 token,直接复用语言模型的训练与推理。RT-2 把动作维度离散成 256 个 bin;OpenVLA 同样用离散化动作,让 7B 模型能像生成文本一样生成动作。
  2. 动作块(action chunking):一次预测未来若干步的动作序列,而不是单步。ACT 用 Transformer 加动作块在 ALOHA 上做双臂精细操作,显著缓解了单步预测的抖动与累积误差。
  3. 连续生成:用扩散或 flow matching 直接回归连续动作。π0 在 VLM 上加了一个动作专家,用 flow matching 输出连续动作序列,论文中报告可支持到较高的控制频率(具体数值以论文与官方说明为准)。
路线代表优点代价
离散 tokenRT-2、OpenVLA与 LLM 生态兼容,训练简单精度受分箱限制,解码慢
动作块ACT、ALOHA平滑、抗抖动,适合接触任务块内开环,遇到扰动无法及时反应
连续生成π0高精度、高频,适合灵巧操作训练与部署更复杂

动作块的隐藏好处是推理一次可执行多步,把推理延迟摊薄;这也是真机部署普遍采用"VLA 出参考、底层高频控制器跟踪"的原因。

三、训练:预训练、联合训练与后训练

数据是 VLA 的命门:单个实验室不可能为每个任务采百万条轨迹,所以主流做法是先在视觉语言数据上预训练,再在机器人数据上联合训练或微调。2023 年的 Open X-Embodiment 汇集了 22 种机器人、21 家机构、527 种技能、16 万级任务的数据(数字见论文摘要),并训练出 RT-X 系列模型,验证了跨机器人正迁移:别的机器人的经验能帮助当前机器人。

训练链条通常是三段:VLM 预训练 → 机器人数据联合训练 → 目标任务后训练(全参或 LoRA)。真正的坑在数据格式与动作归一化:不同机器人动作空间不同(7 维末端增量、关节角、夹爪开合),不同数据集的归一化分位数也不同,推理时必须用训练时的同一套参数反归一化,否则输出的动作数值完全不对。

下面这段代码不依赖任何模型权重,展示部署时最容易被忽略的两件事——归一化与动作块执行:

import time
import numpy as np

class ActionCodec:
    """与训练数据集一致的归一化:1%/99% 分位数映射到 [-1, 1]。"""
    def __init__(self, low, high):
        self.low = np.asarray(low, dtype=np.float32)
        self.high = np.asarray(high, dtype=np.float32)

    def encode(self, action):
        return 2.0 * (action - self.low) / (self.high - self.low) - 1.0

    def decode(self, action):
        action = np.clip(action, -1.0, 1.0)
        return self.low + (action + 1.0) * 0.5 * (self.high - self.low)

def execute_chunk(chunk, codec, hz=10, max_delta=None):
    """模拟:策略一次输出一个动作块,底层以 hz 频率执行。"""
    prev = None
    for step, norm_action in enumerate(chunk):
        action = codec.decode(np.asarray(norm_action, dtype=np.float32))
        if prev is not None and max_delta is not None:
            action = np.clip(action, prev - max_delta, prev + max_delta)
        # 真机上这里发布 ROS 2 指令或调用控制器
        print(f'step {step}: {np.round(action, 4)}')
        prev = action
        time.sleep(1.0 / hz)

if __name__ == '__main__':
    codec = ActionCodec([-0.5, -0.5, -1.0], [0.5, 0.5, 1.0])
    fake_chunk = np.random.uniform(-1, 1, size=(8, 3))
    execute_chunk(fake_chunk, codec, hz=10, max_delta=0.1)

注意最后一步的限幅:真实系统必须限制每步动作变化量,否则模型输出一次异常值就可能让机械臂猛撞。策略再聪明,安全层也不能省。

四、现实边界:VLA 不擅长什么

论文视频容易让人高估能力,下面这些边界值得在立项前想清楚:

  • 长程任务:单次 VLA 推理通常只覆盖几秒的动作,几十分钟的任务需要上层规划器拆解、检查与重试。
  • 高精度接触:插孔、拧螺丝、折叠薄片依赖力控、柔顺控制与触觉,单靠视觉策略很难稳定。
  • 实时性:大模型推理有延迟,而控制环需要稳定频率;必须用动作块、异步推理或分层控制掩盖。
  • 评测可信度:小样本、不同初始条件、不同成功判定标准下的成功率不可横比。
  • 安全:VLA 没有形式化保证,必须外挂限速、限力、急停和碰撞检测。

判断一个 VLA 工作是否值得跟,先看它解决哪条边界:泛化、跨本体、控制频率还是数据成本。只报成功率而不说评测协议的,参考价值有限。

五、上手路线:从跑通到复现

不建议一上来就训练大模型。更现实的路线是:

  1. 选一个公开基准或仿真环境跑通推理(例如 LIBERO 这类操作基准,或 LeRobot 提供的仿真环境),先确认数据、模型、动作反归一化三者对得上。
  2. 用遥操作采集几十条单一任务的演示,固定相机、工位与初始位置。
  3. 用 LoRA 或小学习率微调开源 VLA,先追平基线,不追 SOTA。
  4. 固定协议评测:同一初始条件、同一成功判定,记录失败类型而不是只记成功率。
  5. 做失败分类,再决定加数据、换动作表示,还是用传统控制补精度。
git clone https://github.com/huggingface/lerobot.git
cd lerobot && pip install -e .
git clone https://github.com/openvla/openvla.git
# 模型权重、依赖与推理接口以两个仓库的 README 及 Hugging Face 模型卡为准

开源生态变化很快,仓库名、分支和接口都可能调整;上面命令只是入口,真正的版本与参数请以官方 README 为准。别抄三年前的博客,尤其是模型加载和 action 反归一化部分。

六、常见坑与项目清单

  1. 反归一化用错数据集的分位数,动作幅度整体放大或缩小,表现为"能动但完全不对"。
  2. 推理时的图像尺寸、视角、颜色空间与训练不一致,能力骤降;指令措辞换了也不会泛化。
  3. 动作空间不匹配:训练是增量控制,部署按绝对位置下发,机器人直接飞出去。
  4. 忽略推理延迟,动作块用完才发下一块,机器人走走停停。
  5. 为了跑通关掉安全限幅,一次异常输出就可能损坏设备。
  6. 只挑成功视频做展示,不记录失败率与失败类型,项目无法迭代。
任务验收标准
跑通一个开源 VLA 的推理输入图像与指令后输出动作维度、范围正确
实现归一化 / 反归一化并写单测encode 后再 decode 能还原原始动作(误差可解释)
采 30–50 条演示并微调固定评测协议下失败类型有记录
做一次消融能说明是数据、动作表示还是模型规模带来的差异
接入安全层限速、限幅、急停全部生效并有测试

VLA 最有价值的不是"取代传统机器人栈",而是把语义理解接进了动作生成。把它放在合适的位置——高层决策与技能执行——再配一个可靠的低层控制和安全层,才是今天工程上更稳的组合。

参考与延伸阅读

外链内容由对应网站负责,访问以实际可用性为准。