几乎所有在仿真里训练过的机器人都经历过同一种崩溃:训练曲线漂亮,真机一动就倒、走偏或者发抖。这不是模型没用,而是仿真和现实之间隔着一层 reality gap——物理参数、传感器噪声、执行器延迟、视觉外观都在悄悄变化。Sim2Real 不是某个技巧,而是一套工程流程:先测差距,再补差距,最后用真机数据收尾。本文讲清差距从哪来、有哪些主流方法、怎么排部署顺序,并给出可执行的代码与检查清单。

一、Reality gap 从哪来

差距大致分两类:动力学差距(质量、摩擦、接触、电机响应)与分布差距(光照、纹理、物体摆放、地面材质)。前者影响"动作发出后世界如何变化",后者影响"模型看到什么"。两者要分开处理,用视觉随机化去解决动力学差距是无效的。

来源仿真里的理想化真机上的现实怎么测
接触与摩擦刚性接触、参数化摩擦软硬不一、粘滑、磨损推物块测位移与滑移
质量与惯量URDF 里的估计值装配误差、线缆、负载变化阶跃响应与摆测试
执行器理想位置/速度控制死区、延迟、饱和、温漂阶跃 + 正弦扫频
传感器理想噪声模型偏置、量化、延迟、遮挡静置与运动数据对比
视觉干净渲染光照、反光、运动模糊同场景截图并排对比

还有一项常被忽略:延迟。仿真里从观测到动作几乎零延迟,真机上有相机曝光、传输、推理、总线通信叠加起来的时间。延迟在闭环里会直接降低稳定裕度,高速动作尤其明显。没在仿真里显式建模延迟的策略,上真机都要先降速验证。

二、系统辨识:先把仿真调得像

域随机化之前,先有一个"足够像"的名义模型。最实用的方法是对执行器做阶跃测试:下发一个阶跃指令,记录真实响应,用一阶模型拟合增益 K、时间常数 tau 和纯延迟 delay,再把参数搬回仿真。下面这段代码用网格搜索做拟合,不依赖 ROS:

import numpy as np

def first_order(t, u, K, tau, delay, dt, y0=0.0):
    y = np.zeros_like(t)
    y[0] = y0
    for i in range(1, len(t)):
        ui = 0.0 if t[i] < delay else u[i]
        y[i] = y[i - 1] + dt / tau * (K * ui - y[i - 1])
    return y

def fit_step(t, u, y, dt):
    best = None
    for K in np.linspace(0.2, 2.0, 37):
        for tau in np.linspace(0.05, 1.0, 40):
            for delay in np.linspace(0.0, 0.3, 31):
                pred = first_order(t, u, K, tau, delay, dt)
                rmse = float(np.sqrt(np.mean((pred - y) ** 2)))
                if best is None or rmse < best[0]:
                    best = (rmse, K, tau, delay)
    return best

if __name__ == '__main__':
    dt = 0.01
    t = np.arange(0.0, 3.0, dt)
    u = np.where(t > 0.5, 1.0, 0.0)
    y = first_order(t, u, 0.8, 0.25, 0.08, dt)
    y = y + np.random.normal(0.0, 0.002, y.shape)
    rmse, K, tau, delay = fit_step(t, u, y, dt)
    print(f'rmse={rmse:.4f} K={K:.2f} tau={tau:.2f} delay={delay:.2f}')

真实系统往往不是一阶的,还有死区、饱和和滞环。这时要么加模型阶数,要么接受"局部线性化":在常用工作点附近拟合,别指望一个模型覆盖全速域。

三、域随机化与课程学习

域随机化(domain randomization)的思路很直接:训练时把物理参数、视觉外观、噪声、延迟随机化,让策略见过足够多的"世界变体",从而对真实世界不敏感。Tobin 等人 2017 年的工作用随机化渲染做抓取,是这个方向的经典起点。关键不是"随机",而是随机范围要包住真机:范围太窄,真机落在范围外;范围太宽,策略会变得过于保守、性能下降。

import numpy as np

rng = np.random.default_rng(0)

def sample_domain(rng):
    return {
        'mass_scale': rng.uniform(0.9, 1.1),      # 相对名义质量
        'friction': rng.uniform(0.4, 1.2),        # 接触摩擦系数
        'motor_delay': rng.uniform(0.0, 0.03),    # 秒
        'light_scale': rng.uniform(0.6, 1.4),     # 视觉亮度
    }

for _ in range(3):
    print(sample_domain(rng))

这些范围应该来自系统辨识与真机测量,而不是拍脑袋。常见错误是只随机化视觉,不随机化延迟与摩擦;或者把范围设成"越宽越稳",结果策略在正常条件下也畏手畏脚。更聪明的做法是自动域随机化(ADR):按策略表现逐步扩大或收紧范围。

课程学习则解决"太难学不会":先学平地慢速,再逐步加地形、加速度、扰动。课程要可量化(坡度、速度、扰动幅度),否则很容易变成调参玄学。

四、特权学习与教师-学生

另一条主线是"先让全知的老师学会,再蒸馏给只有真实观测的学生"。训练教师在仿真里可以拿到真值:真实摩擦、地形高度、接触力、无噪声状态;学生只能看到真机上能拿到的观测(本体感受、视觉、里程计)。通过监督学习或 DAgger 让学生模仿教师,把仿真里的特权信息"压缩"进可部署的策略。四足机器人快速行走的工作(Lee 等)就是这条路线的一个代表。

执行器建模也属于这一层:Hwangbo 等人用神经网络学习真实电机的输入输出关系,再放进仿真训练;残差学习则让传统控制器负责稳定基线,学习部分只输出修正量。

方法解决什么代价
系统辨识让名义仿真接近真机需要实测数据与建模工作
域随机化对参数与外观变化鲁棒范围难定,可能牺牲性能
教师-学生把特权信息蒸馏进可部署策略训练流程复杂,依赖仿真质量
真机微调补齐最后的分布差距慢、有安全风险、样本效率低

五、从仿真到真机的部署顺序

把"上真机"当成一次发布,而不是一次尝试。比较稳的顺序是:仿真单元测试 → 换一套物理参数再做 sim-to-sim 验证 → 硬件在环(真控制器 + 仿真被控对象或反之)→ 吊装/限位/低速 → 放开速度。每一步都要有明确的通过标准,没过就不进入下一步。

安全层必须独立于策略:指令限幅、变化率限制、超时归零、工作空间限制、急停。策略输出异常是常态,安全层的作用是让异常不变成事故。评测也要提前设计:真机和仿真分开统计,记录成功率、干预次数、失败类型(打滑、超时、碰撞、误识别),而不是只截取成功视频。

仿真里训练的增益、速度、动作幅度,不要直接照搬到真机。先用一个保守系数缩小,确认稳定后再逐步放开;真机的第一次运行永远应该有人手放在急停上。

六、常见坑与项目清单

  1. 名义模型本身就不准,随机化范围再宽也覆盖不了真机。
  2. 只随机化视觉,忽略延迟、摩擦与执行器饱和。
  3. 把仿真里的理想接触当真,真机一碰就滑、就卡。
  4. 用同一批随机种子做训练和评测,结果虚高。
  5. 只用仿真指标验收,没在真机上做固定协议评测。
  6. 忽略温漂与电池电压下降,跑一段时间后行为变化。
  7. 安全层和策略耦合在一起,策略一崩安全层也失效。
任务验收标准
做一次执行器阶跃测试并拟合参数仿真与真机的阶跃响应曲线能叠在一起看
列出影响最大的 3 个差距来源每个都有测量方法与量化范围
做一组域随机化消融能说明哪个参数对真机成功率影响最大
完成分级真机测试每级都有通过标准与失败记录
写一份部署清单包含安全限值、评测协议、回滚方案

Sim2Real 的终点不是"仿真和真机一模一样",而是"仿真里的经验能可靠地迁移"。接受差距长期存在,用测量、随机化和真机数据一层层缩小它,比追求一个完美仿真器现实得多。

参考与延伸阅读

外链内容由对应网站负责,访问以实际可用性为准。