你对机器人说“把香蕉放进盘子”，它即使看懂了香蕉和盘子，也未必知道下一步该让机械臂往哪儿走。理解画面是一回事，把理解变成电机能够执行的动作，又是另一回事。Show-Harness想做的，就是在两者之间放一套类似“游戏手柄”的通用接口：视觉语言模型（VLM——能同时理解图片和文字的模型）选择向左、下降、抓紧之类的动作，系统再把它翻译成具体机器人的控制命令。
这项工作的看点不在于训练一个更大的机器人模型，而在于重新设计模型与机器人交流的方式。论文报告称，闭源前沿VLM无需微调即可控制机器人，小型开源VLM也能用少量训练完成适配。不过，“只用VLM”这个标题需要打个折扣：真正工作的并非裸模型，还包括语义接口、机器人专用解释器、相机与状态反馈，以及规划和纠错模块。以下结果均来自论文作者的实验与陈述，尚不能当作独立复现结论。
给VLM一排能看懂的按钮
机器人控制通常面临两条路线。
一条是视觉—语言—动作模型（VLA）：把看到的画面和收到的指令，直接映射成连续的底层动作。它像是让模型直接报出机械臂各处该怎么运动，控制细，但往往需要针对不同机器人和任务重新适配。
另一条是让VLM只做高层决策，例如选择“抓取香蕉”这个技能，至于机械臂怎么靠近、对准和闭合，则交给下游控制器。这样保留了语言层面的理解能力，却也让模型与实际动作隔了一层：它决定“做什么”，未必负责“怎么做”。
Show-Harness试图站在两者中间。它提供一组离散的语义动作单元——也就是带有明确意义的动作积木，包括前后、左右、上下移动，绕指定轴顺时针或逆时针旋转，夹爪抓取与释放，以及宣布任务完成。VLM每次选择一个动作，或者在适当时候给出一小串动作。
这些动作仍不是电机信号。每种机器人都要配一个专用解释器，完成动作落地（grounding——把高层意思翻译为这台机器人能执行的局部动作）。例如，同样是“向左移动一步”，解释器会依据当前机器人和参考视角，换算成一个受限的末端执行器位移。Franka机械臂通过阻抗控制跟踪目标位置，AgileX则使用逆运动学和连续关节目标。工作空间、桌面高度和单步运动幅度等安全限制，也由解释器检查；越界动作会在执行前被拦截。
因此，VLM负责的是细粒度的方向与抓放决策，解释器负责确定地实现每一步。论文所说的“直接操纵”，指的是前者没有被一个完整技能控制器代劳，并不意味着VLM直接输出关节或电机数值。
它不是发完指令就撒手
具身智能的关键是闭环：机器人的动作会改变下一刻看到的世界，所以模型必须不断观察、决策、行动，再根据结果修正。Show-Harness每一步都会向VLM提供多视角图像、机器人自身状态和一段简短历史。全局相机帮助理解场景，腕部相机负责近距离对准；夹爪高度、接触状态和开合状态等本体感觉，则被转成文字反馈。
系统还可以把长任务拆成具有可检查完成条件的子任务，并在信息不足时推迟决定。目标很远时，它允许模型连续执行几步，减少调用次数；靠近物体后再缩小步幅，逐步校准。动作历史用来提醒模型不要左右来回摆动，抓空检测则会让系统退回抓取阶段重试。
这也解释了为何Show-Harness不能简化为“一个VLM加一张动作表”。在作者的消融实验中，去掉子任务规划后，成功率降至60%，模型常把物体拖向盘子，却忘了先抬起来。关闭动作分块仍有96%成功率，但需要更多模型调用；始终强制分块则降至74%。自适应步幅达到96%成功率，平均每轮30步。去掉失败恢复后，成功率降至72%。这些辅助模块显著参与了最终表现。
接口改一改，能力就能迁移吗？
作者在两套真实机器人上测试：一台7自由度Franka Research 3机械臂，以及一套由两条6自由度机械臂组成的AgileX双臂平台。基础实验包含10个真实机器人任务，由五种物体与盘子、碗两种容器组合而成。每项任务通常运行10次，物体位置随机，单轮最多50步。
默认的零样本模式使用Gemini-3.1 Pro，通过API调用，不做微调。另一种模式使用Qwen3.5-2B，在同一语义动作空间上进行轻量微调。所谓零样本，是模型没有为这些机器人任务接受专门训练；它仍依赖Show-Harness提供的动作约定、观察、提示与反馈。
最直观的结果来自精细操作。作者把解释器的移动步幅从2厘米缩小到1厘米，没有改变VLM接口，也没有重新训练模型。在积木堆叠和插销任务上，零样本系统的成功率从60%升至82%，微调后的小模型从40%升至65%。这说明把“往哪儿走”与“每步走多远”分开后，部分精度适配可以留给解释器处理。
旋转任务也体现了动作积木的组合性。模型需要按每次15度的单位调整夹爪方向，再抓取处于0度、45度或训练中未见过的90度方向的胡萝卜。零样本模式在各角度保持稳定；小模型在未见过的90度条件下达到70%成功率，论文所列对照方法为20%。不过原文片段没有完整显示该对照方法的名称，因此不宜进一步延伸比较。
语义推理任务拉开了另一种差距。在“从三个杯子中寻找被盖住的积木”和把散落字母排成“SHOW”两项任务中，带情境规划的零样本系统达到85%，小模型只有10%，另一对照为0%。当小模型获得Gemini生成的相同子任务指令后，它升至70%。这表明接口可以承接VLM已有的指令理解能力，但小模型的高层规划仍可能需要外援。
视频示范实验则更像人类的“照着做”：机器人要按演示顺序收起三个物体。只收到含糊的“整理”指令时，零样本系统成功率为20%；加入人类或机器人演示视频后，两种来源都完成20次中的20次。小模型在获得同一规划器提取的任务提纲后达到95%。
人和模型可以共用一套操作语言
同一动作空间还被做成了GUMI（GUI Manipulation Interface——图形化机器人操作界面）。每个语义动作对应一个按钮或按键。人可以像操作简单游戏一样控制机器人，计算机操作智能体也可以点击同一界面。系统在每一步记录执行前的观察和所选动作，用作后续训练数据。
作者称，GUMI支持逐步操作、动作队列、单臂与双臂控制，也允许人在智能体执行过程中介入纠正。它不要求专用遥操作硬件，并可远程采集示范。但机器人本身的相机、控制器和各自的解释器仍然不可省略；“不需要专用硬件”特指示范输入端，而非整套机器人系统。
为什么值得关注
Show-Harness提出的判断很简单：VLM缺的也许不全是机器人知识，还可能是一套合适的“按键布局”。如果接口足够有语义、动作又足够细，模型便能把看图和语言推理能力逐步落到现实动作上。机器人换了，模型面对的动作词表可以不变，只需重写负责落地的解释器。
这种分层也带来实际弹性。论文报告称，小型开源VLM只需“few GPU-hours”的微调便能适配，且2B规模已表现较强；但作者没有给出可换算成确定成本的精确训练时长。对前沿闭源模型而言，系统可以直接继承模型升级带来的能力，不过也会持续承担API调用与等待时间。作者的分析显示，提高推理预算主要减少冗余交互，对成功率帮助不大，还可能增加墙钟时间。
局限与未知
- 这些优势目前主要由作者自己的实验支持。论文给出多项成功率，但尚无第三方复现；部分总表与训练数据数字在供稿文本中缺失，无法完整判断提升幅度、样本规模和统计可靠性。
- 接口并未消除机器人适配，只是把适配从VLM移到解释器。新机器人仍需实现底层控制、坐标映射、安全边界和反馈接入。
- 实验集中于有限的抓取、放置和若干扩展场景。语义动作能否覆盖更长、更复杂、接触更密集的现实任务，以及API延迟和失败恢复在持续运行中的代价，论文材料尚未回答。