想知道 AI 为什么得出一个答案,只看输入和输出远远不够。模型处理文字时,会经过许多中间层,像一叠草稿被逐层改写。Jacobian lens(J-lens)就是观察这些草稿的“透镜”:它利用某层的局部变化如何传到最终层,把难懂的数字状态映射成较易读的词语,帮助研究者寻找模型正在表达的概念。
据 Transformer Circuits 介绍,Anthropic 解释性团队公布的 J++ lens,关键改动是先把每层的内部状态按相似性聚类,再为各组分别拟合读出关系,最后用学得的权重组合。原版会等权平均大量 Token(文本片段)位置的结果,少数嘈杂位置可能污染整体;新方法实际主要靠丢弃读出较差的组来降噪。它还加入逐层相关性传播和虚假读出过滤,同时仍保持每层一个线性映射,可直接替换 J-lens。团队称,J++ 在其评测中能更可靠地显露模型推理所用的中间潜在变量。不过,这仍是实验室会议式的初步结果,并非成熟论文;代码、透镜文件和交互演示已经公开。