同一个策略,换一台机器人,结果就不一样。
RC 在真实机器人上测量物理 AI 策略的表现:按本体、按任务,并标出不确定性。
三种用法。
先免费用起来。需要一个别人会拿去依赖的结论时,再付费。
论点 示意
只换机器人,变的是成功率,不是尝试率。
同一个策略、同一类任务、六台本体。愿不愿意做几乎不变;做不做得成,离散度是前者的约五倍。
2.5 pt尝试率 · 跨本体标准差 σ
13.1 pt成功率 · 跨本体标准差 σ
原理。
从一次机器人 run 到一个可以引用的数字,四步。
- 录制工位上的每次 run 都被完整录下、时间同步并封存。
- 判分带版本号的 VLM 判分器打分,操作员盲审复核。
- 入账结果写进只追加的系数表,按本体逐行记录。
- 报告你拿到按本体的数字和置信区间,以及我们拒绝下的结论。
真实 run 0 评测收入 $0 页面上的一切都是模拟数据 i