你把一堆市场数据交给 AI，让它自己写代码、试模型，最后回答“这里有没有可预测性”。它找到了一个漂亮规律。但问题是：它发现的究竟是信号，还是把随机波动讲成了故事？真实市场没有标准答案，很难当场拆穿。Chang Liu 的这项研究换了一个更可验证的考场：先造出真相已知的模拟世界，再看 LLM research agent——能自主分析、编程并作出研究判断的大语言模型代理——会不会认错。
研究的关键，不是问代理能否做出好看的回测，而是把它的结论本身当成一次统计检验。统计检验，就是预先规定判断规则，再检查证据是否足以推翻“没有真实信号”这个解释。这样一来，代理不再只是研究助手，也成了可以计算误报率和检出率的被测对象。
本文数字与结论均来自这一篇 arXiv 论文，尚无独立信源交叉验证；“frontier model”也是作者采用的宽泛分类，不能据此概括所有研究代理。
先造一个知道答案的市场
研究者构造了“植入信号的世界”：先生成模拟数据，再人为放入强弱可控的预测关系。它像一场事先知道哪些题有答案的考试。代理若在有信号时找到它，算检出；若在没有信号时仍宣称存在可预测性，就是假阳性——把噪声误判成信号。
多数模拟世界采用线性预测关系，月度总体解释度从 0 到 4%。每个世界有 700 个月训练数据，另有 360 个月测试数据。代理只能看前者；后者被封存，用来检验它提交的模型。数据还经过匿名化处理，预测变量的顺序、尺度甚至正负方向都可能被打乱。
代理面对八个候选预测变量，其中只有一个可能含有植入信号，其余是干扰项。它最多可进行 40 次代码或模型尝试，最后必须回答“胜过基准”“没有胜过”或“中止：没有可预测性”，并给出相应概率和可运行模型。
研究共分四轮。第一轮测试 Claude Opus 5.5，共 900 次运行；第二轮用同一套设计测试 GPT-6.1 Sol 和 Terra，各 900 次；第三轮更换模拟噪声，三种模型各运行 430 次；第四轮测试可在单张工作站 GPU 上运行的开放权重模型 Qwen3-32B。
它更会找信号，还是门槛更低？
第一轮里，在 240 个弱信号世界中，Opus 有 38% 判定存在可预测性，预先设定的传统样本外检验只有 8%。样本外检验，是拿未参与建模的数据检查规律能否延续，也是防止过拟合的基本办法。
只看这组数字，代理似乎更敏锐。但它在无线性信号的世界里也有 15% 作出肯定判断，说明它接受证据的门槛更低。研究者于是把传统检验的假阳性率调到与代理相同，再比较两者识别真信号的能力。
结果不再显示代理占优。当植入信号的月度解释度为 1%时，Opus 的检出率为 61%，经过多重检验校正的 HAC-Holm 检验为 59%；两者差异为 2 个百分点，95% bootstrap 区间从 -16 到 23 个百分点。换句话说，代理多抓到的弱信号，主要来自“更敢下结论”，而不是在相同误报代价下拥有更好的搜索能力。知道真实模型的 oracle——相当于拿着答案做预测——检出率则为 79%。
这一区分对量化研究很重要。一个流程不断尝试变量和模型，总能偶然撞见漂亮结果。如果只奖励“发现了多少机会”，宽松的流程天然显得聪明；只有把假阳性率放在同一水平，比较才公平。
无信号时，它仍然经常说“有”
在第一轮的 70 个无信号世界中，Opus 有 15 次宣称存在可预测性，假阳性率为 21%，高于传统检验通常采用的名义 5%。而且，15 次误报中有 14 次的分析记录提到了多重检验或数据窥探。它并非不知道风险，只是提醒自己之后仍作出了肯定判断。
模型之间差异很大。同一批无信号世界中，Terra 的肯定率为 63%，Sol 为 19%，Opus 为 21%。Terra 的部分结果利用了模拟数据里的重复值漏洞：它从过去完全相同的回报中推测下一期回报。剔除利用该漏洞的运行后，Terra 的假阳性率仍有 46%。
研究者随后改用不会产生重复值的 Gaussian shocks——服从高斯分布的随机扰动——重新生成世界。在 110 个无信号世界中，Opus、Sol 和 Terra 的肯定率分别为 34%、16%和 44%，Qwen3-32B 为 35%；同批世界里的 HAC-Holm 检验为 8%。这说明过量误报不能完全归咎于那个模拟漏洞。
一句话也会移动结论
研究还在数据完全相同的情况下，只改动任务说明末尾的一句话：不作暗示、声称既有研究支持存在信号，或声称择时很可能无效。
Opus 在怀疑式、中性和乐观式说明下的肯定率分别为 32%、46%和 61%。乐观措辞把无信号世界的误报率从 15%推到 32%；怀疑措辞则把有信号世界的检出率从 56%压到 40%。Sol 和 Terra 也出现同方向变化，只是幅度不同。
代理给出的概率同样不能直接按字面理解。Opus 的概率校准斜率为 0.36，Sol 和 Terra 分别为 0.12和 0.11；理想校准值应为 1。所谓校准，是说代理若多次声称某事有 70%概率发生，长期来看是否真的约有七成发生。这里的结果表明，它们的数字信心与实际结果并不匹配。
真正的价值是自动搜索，不是替代裁判
这篇论文并没有得出“研究代理完全没用”的结论。代理的判断具有信息量，弱信号越强，肯定率通常也会上升。问题是，它不是一个误报率已知、规则固定的统计检验；同一个世界重复运行，结论也可能变化。
作者据此把代理更合适的角色放在“自动完成搜索”，而不是同时担任运动员和裁判。较稳妥的流程需要三道边界：给代理一份不暗示答案的 neutral brief；在代理之外预先固定 decision rule——什么证据算通过；再保留 sealed holdout——代理无法接触的封存测试集。
局限与未知
- 结果来自特定版本的四个模型与特定金融预测任务，模型间差异明显，不能外推到全部 LLM research agents。
- 模拟世界让真相可核验，但高斯扰动会舍弃原设计中的肥尾和波动聚集；模拟环境与真实市场仍有距离。
- 论文证明了这些流程在实验中的误报与措辞敏感性；neutral brief、外部固定规则和封存测试集是作者提出的使用规范，尚不是经独立验证的通用保证。