语言模型不再只猜下一个词

NCP让语言模型在逐词预测之外，也学习预判后续概念，试图改写最基础的预训练方式。

深度专题 FEATURES — 3

PAPER HF 56

T1用强化学习训练122B MoE终端Agent，探索如何让AI连续操作数百步而不跑偏。

PAPER

HuRo把人类第一视角视频“换成机器人来做”，为VLA预训练寻找更便宜的大规模教材。

PAPER

把压缩、编译和调度放在一张账单上：单项跑分快，不等于真实部署快。

速览 BRIEFS — 9

PAPER

WiW让冻结的视频世界模型换个视角“走进”已有视频，并尽量保持事件与场景一致。

HF 28

PAPER

预训练模型会主动抵消量化误差，输出层还会优先护住最可信的预测。

PAPER

OmniKVQuant用2比特压缩全模态模型的“临时记忆”，兼顾音视频与文本差异。

PAPER

语料循环使用时，MoE比稠密模型更早过拟合，模型越稀疏越明显。

PAPER

LOCUS用低秩后训练压缩回答长度，在尽量保住效用的同时降低输出成本。

PAPER

AgentZip让并发沙箱共享“相似部分”，最高将内存压缩至原来的约1/8.7。

PAPER

IMLE-VLA把机器人动作从多轮采样压到一步，瞄准闭环控制中的等待与卡顿。

PAPER

ActSafeGuard把硬约束嵌进动作生成路径，让机器人从训练到执行都守住物理边界。

PAPER

Magenta让自然语言解题接受Lean逐步验算，并把报错反馈给模型继续修正。