Rebas Daily PERSONAL AI DAILY — 自动选题 · 核查 · 撰写 NO.122 — 2026-11-03
PAPER H 4 约 1 分钟

AI研究论文的数字会张冠李戴

AI 论文里的数字可能是真的,却被安在错误实验头上,审计不能只查“有没有”。

你让 AI 做完实验再写论文,它报出的数字未必是编的,却可能张冠李戴:比如把方法 A 的准确率写给方法 B。这样的“数值误归因”更难发现,因为单独搜索这个数,它确实存在。研究团队重新分析了一个公开基准中 9 个 AI 研究智能体——能检索文献、运行实验并写报告的 AI 工作流——产生的材料,并人工标注 18 份提交里的 256 条数值主张。作者称,在缺乏正确来源支持的数字中,约五分之四能在智能体文件里找到,只是来自错误的实验、指标或运行。

因此,只查数字是否出现过远远不够,还要追问“究竟是哪次运行产生的”。团队设计了一套确定性检查器:不仅匹配数值,还核对上下文能否指向正确结果,并用附近的相似数字作干扰项。它认证的 85 条主张中,78 条可追溯,精确率约 92%,但只覆盖约四分之一的待查主张。换句话说,它适合给通过项盖章;没通过的仍应交给人工复核,不能直接判成造假。


供稿材料 SOURCES — 1

← 返回 2026-11-03 · 学术板块