给论文挑错,不能只看 AI 写得像不像专家评语,更要看它能否抓住足以推翻结论的问题。Sakana AI 的做法像给考卷预先埋入错题:在真实论文中植入已知矛盾,再检查 AI 有没有发现。这样衡量的是找错能力,而不是模仿评审口吻。
据 MarkTechPost 报道,研究团队从五个学术会议的257篇论文中构造了1,164处矛盾,并按它们距离论文主要结论的远近划分严重程度。其 Multi-Layered Review(多层评审系统)会先梳理论文,再细读并提出质疑,最后汇总证据。连续运行四次时,它检出了73.43%的核心论断错误;最佳基线系统只有14.81%。单次评审的检出率也达到60.79%。
这个结果说明,分阶段阅读和复核可能比让模型一次写完评语更有效。但它离可靠的自动审稿仍很远:面对211篇真实撤稿论文,系统与撤稿问题“精确匹配”的比例仅16.11%,还会受到隐藏提示注入影响。更合适的定位仍是辅助筛查,帮人类评审优先寻找严重漏洞,而不是替人决定论文去留。