让 AI 自动做科研,难点不只在于提出点子,还在于认出哪些点子其实早有人做过。新颖性检查就像科研版“查重”:它比的不是文字,而是想法和结论。查得太松,系统会重复发明旧结果;查得太严,又会误杀真正的新工作。
研究团队用 1,060 份提案审计了七种现有检查方法,并以“时间基准真值”测试它们——只让系统查阅某个历史时点前的文献,再看它能否识别后来由人类实现的想法。结果显示,越擅长拦截旧工作的检查,往往也越容易错杀后来真实出现的研究;按整份提案判定的方法,还可能因为其中一条旧主张而否掉全部内容。
为此,作者提出 ClaimNov:先把提案拆成具体主张,再逐条寻找已有工作的证据。作者报告称,它识别出 97% 的伪装旧论文,同时对后来实现的新想法仅有 1.5% 的误报;面对混入一条既有贡献的 100 份新提案,它保留了 91 份,最强的现有方法保留 76 份。关键不只是分数更高,而是把“哪里不新”说清楚。