同一个人做题,若只有一张草稿纸,和有人帮他整理资料、调用计算器、检查答案,成绩可能完全不同。AI Agent——能围绕目标分步行动、调用工具并根据结果调整的系统——也是如此。据 InfoQ 整理的 YC Paper Club 活动发言,同一模型权重在 ARC-AGI 测试中的最好成绩原为 30%,换用 Harness 后可达 95%;Nvidia 的 AVO 则达到 100%。ARC-AGI 用一组彼此需要不同技能的小游戏,观察 AI 适应陌生问题的速度。
Harness 就是模型外面的“执行脚手架”:它组织提示、工具、上下文、记忆和重试,让模型不只凭一次回答硬闯。Prime Agent 作者 Seth Karten认为,关键不在给模型套上固定流程,而在补足它自身没有的能力,例如压缩信息、使用 Python REPL——可反复执行指令并查看结果的交互环境——以及调用可持续工作的子 Agent。换句话说,评估 Agent 时,只报底座模型已经不够;工具、上下文工程和执行系统,可能决定它究竟拿 30 分还是 95 分。上述成绩来自活动参与者自述,材料未披露完整对照设置。