你告诉 AI 一个新事实,它通常只能把这句话留在当前对话里;下次回答时,还得重新读一遍。Hu 等人提出的 Infinite-Parameter LLM 想换一种做法:把实时数据直接“编译”进权重——也就是决定模型如何处理输入的一组数字,让模型在使用过程中适应新知识和新要求。
它借鉴 Mixture-of-Experts(MoE,按输入调用少数“专家”模块)的思路,但不保存庞大的专家库。一个紧凑的 hypernetwork(专门生成另一套网络参数的模型)会按需产生低秩调制,即只用少量变化调整共享基础网络。更关键的一步是,系统对生成权重所需的隐藏编码维持一套 Bayesian belief(随新证据更新的概率判断),可按轮次甚至逐 token 更新。因此,模型存储体积不变,却能随会话生成不断变化的有效权重。
这里的“无限参数”并非容量真的无限,也不能替代预训练;作者明确把适应范围限定为低维、可逆的会话调整。论文给出了与提示词学习和检索对比的评测方案,但现有材料未披露实验结果,因此它目前更值得被视为一种激进的架构方向:缩放能力,未必只能继续堆固定权重。