想让 AI 帮你查天气、换货币,它不只要会说话,还得知道何时调用哪个工具、参数怎么填。这个社区实验尝试把这套本领装进更小的模型:作者将 Muse-Glimmer-30B 按宽度缩减——也就是收窄每层内部表示和通道——保留全部 52 层,得到 14.44B 参数的 Xyntetik-Kvist-14B,再用知识蒸馏让它模仿教师模型。知识蒸馏,就是让较小的“学生”学习较大模型的输出与决策;全程没有使用强化学习。
据作者在 Reddit 自述,新模型完成了 60 项未参与训练的闭环工具任务中的 57 项,母模型完成 60 项,未经训练的对照模型则是 0 项。所谓闭环,不只检查调用格式,还会真正执行联系人、天气、航班、货币等工具,再与正确答案核对,因此更接近日常 Agent——能自主选择工具完成工作的 AI——实际运行。作者还公开了 12 次受控尝试及失败记录,其中只有两次跑完、一次发布,这让它成为一个较便于复验的模型压缩样本。
边界也很明确:作者记录称,模型若没有计算器工具,会算错“2,340 的 17%”;相关效果目前来自作者发布的模型卡与自测,尚未见独立复核。