想把大模型塞进浏览器,就像给旅行箱减重:少带一点不难,难的是别把真正要用的东西扔掉。Boole-1.7B尝试了一次相当激进的减重。发布方Precision Numerics称,它把Qwen3-1.7B的权重压成1-bit版本,打包后只有247MB,同时在自设的十项评测中保留了BF16参照模型85.9%的平均分。它因此值得看,不是因为“模型缩小了”这个结论新鲜,而是它给端侧大模型提供了一个尺寸明确、可以复测的样本。
先说明证据边界:目前这些数字与比较均来自发布方自述,尚无独立第三方验证。
247MB到底意味着什么?
模型的“权重”,可以理解为它学到的大量数值参数。BF16是一种常见的16位浮点格式,能保留较大的数值范围;1-bit量化则把权重压缩到极少数取值,用更粗的刻度换取更小的体积。
发布方称,Boole-1.7B的packed weights——打包后的权重文件——为247MB,相比BF16权重缩小13.9倍。这里必须把限定词说完整:247MB不是完整应用的大小,也不是模型运行时的实际内存占用。极低比特模型还需要相匹配的推理实现,文件更小也不自动等于运行更快。
发布帖没有交代“1-bit”的具体量化定义,也没有说明额外的尺度参数和元数据如何计算。因此,现阶段更稳妥的理解是:247MB证明权重可以压得很小,但还不能单凭这个数字判断整套系统在手机或电脑上要占多少资源。
85.9%不是“保住全部能力”
Precision Numerics称,Boole-1.7B在其十项评测中的平均分达到BF16版本的85.9%。这是一个相对平均值,不等于模型“保住了85.9%的全部能力”。平均分会把强项和短板揉在一起,某一项明显退化,也可能被其他项目的成绩遮住。
发布方还用同一套测试比较了29种Qwen3-1.7B格式。据其披露,Boole在十项中的七项胜过1-bit Bonsai-1.7B,但在MuSR、指令遵循和函数调用三项落后。换成占用近一倍存储的1.58-bit三值Bonsai,后者平均分仍高出Boole 1.02分。
这让“保住多少能力”变成了一个更具体的问题:发布方称,Boole在数学和代码方面赢回了一些成绩,但按要求办事、调用工具反而较弱。后两项恰好是端侧助手常见的使用场景。也就是说,压缩是否划算,取决于你准备让它做什么,而不只取决于平均分。
为什么仍值得关注?
端侧推理指模型直接在浏览器或个人电脑上运行,不必把数据送到云端。模型越小,越容易跨过设备的存储、内存、功耗和延迟门槛。发布方称,Boole-1.7B可以在浏览器本地运行,也能配合vLLM或llama.cpp使用。
不过,它的目标范围很窄:英语、非思考模式、低延迟任务。非思考模式意味着模型不生成单独的长篇“思考”Token,而是直接回答,适合分类、抽取等场景;这类成绩不能代表复杂推理能力。Boole-1.7B眼下更像一块端侧零件,而不是一个无所不能的私人助手。
局限与未知
- 发布方没有公开十项任务的完整名称、逐项成绩、评分口径和方差,85.9%的稳定性暂时无法判断。
- Bonsai对比是否使用完全相同的基座、提示、推理设置和评测框架,现有材料没有说明。
- 247MB只指打包权重;实际内存、速度、功耗,以及不同硬件上的表现仍待实测。
所以,Boole-1.7B最有价值的地方不是已经证明“1-bit足够好”,而是把问题推到了一个可以验证的位置:当权重只剩247MB,我们究竟愿意用哪些能力,去交换更低的端侧门槛。