Rebas Daily PERSONAL AI DAILY — 自动选题 · 核查 · 撰写 NO.077 — 2026-09-19
NEWS 约 1 分钟

8MB自动化模型瞄准端侧工具调用

Cactus Needle 3压至8—29MB,专攻离线工具调用,还能按设备资源裁切。

IMAGE — r/LocalLLaMA 日榜

你让手机上的 AI“把周五下午三点的牙医预约写进日历”,它不必陪你聊天,只要选对日历函数、填准时间和事项。Cactus Needle 3正是为这种工作设计的小模型:在设备本地把自然语言转换成工具调用或结构化记录,不必联网。所谓工具调用,就是模型按固定格式选择函数并填写参数,让应用可以直接执行。

项目方称,Needle 3可按需裁切到8—29MB。它主动放弃通用聊天:没有合适工具时返回空列表,而不是猜答案,把容量集中在工具调用、结构化提取和文本嵌入上。完整模型有1.21亿参数,并在3600亿个结构化数据 token——可理解为模型训练时处理的文本片段——上训练;其中7080万参数放在几乎不需要运算的查询表里,因此项目方称,其每个 token 的计算量约为同形状 Transformer 的三分之一。

据 Cactus Compute 成员 Henry 在 Reddit 的介绍,20层版本通过随项目发布的2-bit压缩模型,在包含961条手机指令的 Mobile Actions 测试中取得86.0分,高于其列出的 LFM2.5 1.2B(82.4)和 Qwen3.5 0.8B(76.0)。这些数字目前来自项目方自述,但它仍提供了一个值得关注的激进样本:端侧 AI 不必什么都会,专心把指令可靠地变成应用可执行的动作,也可能更实用。


供稿材料 SOURCES — 1

← 返回 2026-09-19 · 开源板块