让 AI 把网页里的信息整理进文档,再切到邮件里发送,难点不只是“看懂屏幕”,而是连续完成跨应用操作。微软的 Mage-VL-Cowork 想用仅 4B 参数的视觉语言模型(VLM——能通过截图辨认按钮、窗口和文字)接手这类工作,为成本更低、靠近设备运行的电脑操作 Agent 提供一个新样本。
它先用上游教师模型辅助训练,再通过 Mage-CUA-Forge 合成以完整工作流为中心的环境,并采用五阶段“先专门训练、再统一能力”的课程。作者称,Mage-VL-Cowork 在 OSWorld-Verified——测试 AI 在真实桌面环境完成任务的基准——取得 66.0% 成功率,是 4B 规模中的最佳成绩。经过在线强化学习(模型边产生操作轨迹、边根据奖励更新)后,模型调用次数减少 13.0%,输出 token 减少 25.4%。不过,这些效果目前来自项目方自述,材料未披露更完整的对照与设备端运行细节。