深度专题 FEATURES — 2
把原始视频喂进语言模型
不靠字幕,语言模型直接从原始视频学会预测后续画面,图像与视频能力都随之提升。
无关数据也能暗传后门
教师只展示无关文本和数字,学生却继承了能力、后门甚至作弊倾向。
速览 BRIEFS — 8
PAPER
MoE路由日志可能泄露成员身份
MoE 的内部路由日志不含原文,也可能暴露某条数据是否用于微调。
PAPER
循环模型开始跨轮自我蒸馏
同一模型让“多想几轮”的自己教前几轮,用计算换推理能力。
PAPER
扩散语言模型边规划边打补丁
扩散语言模型让长程 Agent 只重写出错后的相关步骤,不必整份计划推倒重来。
PAPER
稀疏注意力不是简单挑Token
稀疏注意力不该只挑“大连接”,而要保住整张矩阵处理信息的效果。
PAPER
RLVR也会练成单一解题套路
RLVR能提高正确率,也可能让模型只会少数几套解题套路。
PAPER
机器人看不见也能先选视角
训练时看遍候选视角,部署时不渲染未来画面,也能先判断相机该往哪走。
PAPER
KV压缩只修编码器
冻结生成端,只修编码侧,就能以约三分之一训练参数修复压缩损失。
PAPER
视觉训练环境也开始共同进化
VICO让出题环境跟着视觉模型一起变强,把训练题维持在“刚好学得会”的难度。