给自己的 run 判分

给有机器人的团队:每个 run $0.60,告诉你的策略在同行里排第几。

按 run 付费,换来可比性

角色 A · 数据产生者典型:大学 lab · 拿了钱但买不到机器人的 AI 公司 · 租了格子的人

我付什么: $0.60 / run 的判分费 i
我拿到什么: 免费的协议 + 便宜的判分 + 可比性:我终于知道我的 57.5% 算高还是低
RC 拿到什么: 一台 RC 没买的机器上的失败分布 i

三条命令,从机器人到排名示意

$ pip install rc-eval && rc-eval init
  ✓ 识别到  xArm 7 (ufactory)   @ 192.168.1.42
  ✓ 识别到  Wuji Hand 2        @ /dev/ttyUSB0
  ✓ 相机    3 路 (scene / wrist / top)   同步 ±1.8 ms
  body_hash  b7c1…  → 新配置,登记为 lineage#0x41 v1

$ rc-eval run --task tabletop.pick_place --n 40 --policy my-vla:v3
  [40/40] ██████████████████████  18 min 22 s
  bundle  ./runs/2026-09-20-a41/  3.1 GB  blake3:7c1d…
  reset   平均 96 s  ← 这个数会进你自己的单位经济

$ rc-eval judge --upload
  已判分 40 次 · rc-judge-v1 · $24.00
  attempt  95.0%    success  57.5%
  首位失败  grasp.slip (14)   perception.reflectance (3)

  ▸ 公共表已加一行(匿名)  XE-Table 2026.3 / cf_4488
  ▸ 同任务、同本体族的中位 success = 61%  —— 你低 3.5pt

最后那一行才是他留下来的理由。判分他自己也能做,可比性他做不到,因为他只有一个身体。i

十一项字段,一项都不能少

没有一项能在事后补上。缺任何一项,接口直接拒收。i

十一项字段明细

策略:厂商 / 名称 / 版本 / checkpoint 或 endpoint 快照
本体:臂 + 手 + 自由度 + 安装高度 + 配置哈希
格子与最近标定日期
任务 id 与档位
随机种子
环境:色温 / 杂物数 / 台面摩擦 / 温度

复位方式与复位秒数
operator 分钟数
权利基础(四类之一)
bundle 内容哈希
三路相机与关节流的同步误差

你的 run 不会拿去训竞品

RC 拿什么

提交的 run,以匿名化、聚合形式用于判分器校准与公共系数表。i

RC 承诺不做什么

RC 可以拿这些 run 训判分器,但不能拿去训与提交方竞争的控制策略。i