你在实验室里让机器人把杯子放上杯垫，桌面、灯光和杯子位置都已调好，它可能做得不错。可把同一台机器人推到宿舍、食堂或工厂，换个杯子、挪一下相机，结果就可能完全不同。机器人基准的老难题正在这里：环境越统一，越不像真实世界；环境越真实，测试又越难复现和比较。
RoboColosseum想做的，是把这两件互相拉扯的事放进同一套评测系统。它让分布在不同地点的本地机器人按统一协议运行模型，同时保留真实场所的差异。首轮研究在41天内覆盖124个站点、四种机器人本体和八套AI系统。这里的“本体”（embodiment），指机器人具体的身体与执行机构，例如单臂、双臂或人形结构。
先说明信源边界：以下结果均来自RoboColosseum论文及其公开材料，尚无独立机构复现。论文是2026年11月的arXiv新稿，结论仍可能随版本更新或同行评审变化。
不是建一间更大的考场
这套框架支持四种差异明显的机器人：低成本单臂SO-101、研究级单臂Franka、双臂Bimanual-YAM，以及会行走的人形机器人G1 Humanoid。测试地点包括办公室、图书馆、公园、宿舍、住宅、食阁和工厂。最多30名全职操作员负责布置现场、重置任务和记录结果。
关键不在于让所有地点长得一样，而在于规定什么必须相同。RoboColosseum统一策略服务、硬件配置、任务定义和操作流程，再用两个赛道分别回答两个问题：模型拿来就用时表现怎样；给它相同数量的示范后，又能学到什么程度。
Open Track，也就是开放赛道，不允许针对具体任务提前适配。评测者用现场可得的物品设计任务，系统匿名分配两个模型，让它们在同一机器人、同一指令、同一物品摆放和同一时限下依次尝试。评测者不知道模型身份，只记录谁表现更好、完成了多少、任务有多难。这很像让两名选手在同一块临时搭出的场地连续比赛：场地可以变化，但一场对决里的条件必须匹配。
研究共完成5,699次这样的成对比较，覆盖5,699个现场任务。要注意，这不是5,699次成功，也不是5,699个标准化独立题目。论文用一种考虑任务难度的统计模型汇总结果，避免某个模型只因碰到简单任务就占便宜；同时用“主动匹配”优先安排排名仍不确定的模型组合，把昂贵的实体试验用在更有信息量的地方。
两条赛道，测的是两种能力
Fine-tune Track，即微调赛道，考的是学习新任务的能力。微调就是用一批针对性示范继续训练已有模型。研究在四种本体上各设五项任务，总计20项，包括堆叠、开抽屉、整理衣物、使用工具和双臂协作等。每个策略在每项任务上得到相同的100条遥操作示范，之后接受25次试验。
这里测试的是VLA策略。VLA是vision-language-action的缩写，即视觉—语言—动作模型：它把摄像头画面和文字指令直接转成机器人动作，相当于把“看见、听懂、动手”接进同一套系统。研究比较了五个VLA策略；开放赛道还加入三个可通过API调用的前沿AI agent。
相同的100条示范控制了数据数量，却不代表训练完全等价。不同模型仍使用各自的官方微调方法，训练时长和优化设置可以不同。因此，这项比较更接近“给相同教材，看谁学得会”，而不是把所有学习过程都锁死。
最醒目的结果不是谁拿了第一
开放赛道中，论文称前沿agent的整体表现可与专用VLA策略竞争。在901次agent与VLA的配对评测里，agent取得更高任务进度394次，VLA领先265次，另有242次打平；agent平均领先5.3个百分点。但差异明显依赖具体模型：Claude Opus 5.5和GPT-6 Astra分别平均领先12.1和11.0个百分点，Grok 4.7则落后7.5个百分点。
相对排名看起来不错，不等于机器人已经可靠。六类开放任务中，没有任何系统的成功率超过13%。按人工难度分组后，难度1—4的任务完整成功率为30.7%，难度9—10只剩0.4%；平均任务进度也从56.6%降到3.5%。这说明最难任务的问题不只是“差最后一步”，而是许多系统很早就做不下去了。不过这些是观察性结果，任务类型和机器人构成也可能影响差异。
微调后的赢家随身体而变：GR00T N1.7在SO-101上领先，pi0.5在Franka和Bimanual-YAM上领先。不同本体专属任务集的策略排名一致性较弱，Kendall’s 。这个指标越接近1，排序越一致；0.24说明在一种机器人身体上领先，并不能保证换一副身体仍然领先。
更值得留意的是，Open Track的排序也不能很好预测微调后的排序。三个同时出现在两条赛道中的机器人本体都出现了明显排名逆转。这不表示模型“微调后退化”，因为两条赛道的任务和适配条件不同；它说明开箱即用的泛化能力，与看过示范后的学习能力，不能用同一张榜单代替。
失败也要分清失败到哪一步
传统评测常把一次尝试记成成功或失败。但机器人可能已经抓住瓶子，只是没能把它立稳；也可能从一开始就没有碰到瓶子。两者都算失败，却暴露出完全不同的问题。
RoboColosseum因此加入任务进度分数：把每项任务拆成若干判定条件，计算一次执行满足了多少条件。G1 Humanoid上的结果最能说明其价值。五项任务中，没有任何策略完成任何一项；如果只看成功率，所有模型都是零分。但它们的平均任务进度仍从13.3%到23.2%不等。进度不是成功率，却能显示模型是在起点卡住，还是已经走完一部分。
为什么值得关注
机器人评测最昂贵的部分不是生成一道题，而是准备机器、摆放物品、重置现场、处理故障，再把整套过程重复足够多次。RoboColosseum的价值，在于尝试把这些零散劳动变成持续运行的公共基础设施。论文报告，主动匹配在约400—500次评测后，就能与全量数据排名达到约90%一致；均匀抽样大约需要1,000次。若后续复现成立，这意味着实体评测不必只靠不断堆试验次数，也能靠更聪明的安排提高效率。
更重要的是，它开始把“一个模型是否强”拆成更具体的问题：换任务还能不能做，换身体是否仍有效，经过示范能否学会，以及失败时究竟走到了哪一步。对物理智能——系统感知环境、规划并通过身体完成任务的能力——这比单一实验室里的一项成功率更接近真实部署。
局限与未知
- 目前所有结论都来自同一篇论文。124个站点不等于124家独立研究机构，尚缺第三方现场数据和独立复现。
- 开放任务由各地提出，难度与任务构成并不完全相同。难度校准能减轻偏差，但不能证明所有模型经历了完全等价的任务分布。
- 论文展示了排名趋稳和主动匹配节省试验的结果，但评测协议、进度判定和操作者一致性仍需在更长期运行中检验。