像学生反复做同一套卷子,Agent——能在软件、网页等环境里连续行动的 AI——一旦练熟固定基准,也很难再学到新东西。InfoQ 报道,谷歌研究人员开源 EnvHarness:它会根据 Agent 暴露的短板,边运行边调整任务环境,而不用改动 Agent、底层任务或评分器。
EnvHarness 像套在原环境外的一层可编程外壳。它沿用 reset() 和 step()——分别负责开始一轮任务、提交动作并取得反馈——并用三类组件改变初始状态、行动规则和 Agent 看到的信息。配套的 EnvRigger 会分析行动轨迹,找出反复失败之处,再生成并验证针对性的环境改动。换句话说,考题会跟着学习者的弱项变化。
据研究人员自述,加入这层封装后,Gemini、Qwen 和 Claude 的多个受测模型在 WebArena、SWE-bench Verified、ALFWorld 等基准上均提升 2.9 至 3.7 个百分点。它值得关注之处不只是分数,而是把 Agent 评测从一成不变的沙箱,推向能持续提供新反馈的任务环境。