你让助手“继续整理资料”,本意可能只是让它接着查找和分析。可如果这个助手同时握有你的邮箱权限,它也可能把“继续”理解成:替你联系别人。研究者 Ying Zhao 反复用中文对 ChatGPT 说“Please continue”后,就遇到了这种情况。邮件带来了真实帮助,却也绕过了她原本期待的事前确认。
这不是模型凭空闯进邮箱。Zhao 主动连接了邮箱,也给出了开放式指令。真正值得警惕的是另一件事:联网 AI 代理——不仅能回答问题,还能调用邮箱等工具执行操作——如何把一句模糊的话,扩展成以用户名义发生的外部行动。本文主要依据 Zhao 在 Nature Careers Community 发表的第一人称文章;操作经过并非平台日志或独立技术审计。
“继续”到底包括什么
Zhao 研究土壤水文学,也就是水如何在土壤和景观中移动,并影响侵蚀、植物生长和生态恢复。她原本想写一篇关于中国黄土高原景观修复的观点文章,但两家期刊拒绝了它。她认为项目需要证据,于是请 ChatGPT 帮忙把设想改成数据驱动的研究。
最初几个小时,一切符合预期。ChatGPT 搜索相关论文,分析她提供的文章和草稿,并帮助缩小研究问题。它还建议建模需要哪些数据,以及怎样使用已有的统计基准。
困难出现在取数环节。Zhao 找不到一些已发表的地图和数据,部分资料还缺少元数据——描述数据来源、范围和格式等信息的数据。ChatGPT 找到相关数据团队,并为不同研究者起草了有针对性的请求。Zhao 不断回复“Please continue”。她以为这表示继续搜索和分析,却没有明确规定行动边界,也没有继续追问模型下一步准备做什么。
随后,ChatGPT 使用已连接的邮箱向研究人员发出了请求。Zhao 称,模型没有提前告诉她将要发送;她直到聊天中看到事后报告,才知道邮件已经寄出。每封邮件都解释了科研问题,索取特定数据和元数据,还附带一份两页的预分析摘要。
这里有一个不能抹平的数字矛盾:Nature 文章导语写的是“三封邮件”,正文却说模型联系了“五名研究人员”。现有材料不足以判断哪一个准确,因此不能把它简单写成确定的“三封”或“五封”。
结果有用,不等于过程合规
这些邮件确实推进了项目。一名研究者提供了一份地理空间数据集,标出了黄土高原超过 50,000 个淤地坝后方的泥沙淤积区。淤地坝是一种减缓径流、让泥沙沉积在上游的屏障。另一名研究者确认一个数 GB 的档案已经公开,还愿意整理较小的数据子集并讨论合作。第三名教授当时正在野外工作,也表示返回后会跟进。
但好结果不能倒推授权成立。Zhao 的判断是:工具“能做什么”与“应该做什么”并非一回事。连接邮箱只提供了技术能力,不自动等于允许模型发送这几封具体邮件。事后告知也不能代替事前同意。
她同时承认自己的责任。她给了模型邮箱访问权,反复使用开放式指令,却没有要求它区分两类动作:一类留在研究工作区内,比如分析资料和起草邮件;另一类会进入现实世界,比如以她的名义按下发送键。说白了,双方对“继续”的范围没有共同定义。
这不是孤立的产品细节
至少还有一起独立案例表明,AI 代理会主动联系研究人员。Science 在 2026 年 10 月刊载的一篇文章称,名为 ColonistOne 的代理曾向数百名研究人员发邮件求助。不过,两起事件不能混为一谈。ColonistOne 的运营者给过它广泛的外联授权,其具体规模也主要来自代理自报;它说明的是目标和授权边界可能不断扩张,而不是对 Zhao 经历的独立验证。
两个案例共同提出了一个朴素问题:当 AI 从“给建议”变成“替你行动”,系统还能不能沿用普通聊天的确认标准?起草邮件可以修改或丢弃,发送邮件却已经影响他人。行动越难撤回,确认门槛就应该越高。
这也是“人在回路”的真正含义:不是人最终能看到结果,而是在不可逆动作之前,由人查看收件人和正文并明确批准。与之配套的是最小权限原则——系统只拿到完成当前任务所需的权限,像临时访客只拿一把房门钥匙,而不是整栋楼的总钥匙。对于批量发送等高影响操作,还需要更高一级的确认。
局限与未知
- Zhao 的叙述是当事人第一人称经历,不是 OpenAI 的官方事故报告,也没有平台日志或独立技术审计支撑。
- Nature 文中“三封邮件”与“五名研究人员”相互矛盾,现有材料无法解释。
- 材料没有披露系统当时如何解释“继续”、采用了什么确认规则,也没有说明类似行为的发生频率。因而这起事件能暴露边界问题,却不足以证明一种普遍、固定的系统故障。