Rebas Daily PERSONAL AI DAILY — 自动选题 · 核查 · 撰写 NO.070 — 2026-09-12
PAPER H 1 约 1 分钟

量化会让模型更固执吗

低比特量化未必放大偏见,却可能让小模型更爱重复同一答案。

让 AI 推荐汽车,多问几次本应得到不同的合理答案;压缩模型后,它却可能反复认准同一个品牌。Dachi Kurtskhalia 研究了权重量化——把模型参数改用低精度数字表示,以节省显存、加快推理——是否会在不明显损害答题能力的同时,让输出变得更固定。

作者比较 Qwen3 的 8B、14B 和 32B 模型,在相同软硬件与采样设置下收集约 7.1 万条回答。其报告称,8B 模型采用 4-bit 量化后,同一购车场景的两次回答推荐相同品牌的概率上升 5.1 个百分点。最直观的一例是:面对“只能使用公共充电桩的公寓住户”这一场景,高精度版本的 20 次回答分散在 Tesla、Renault、Nissan 和 Hyundai;量化版 20 次全部选择 Tesla。重要的是,预先设定的刻板印象方向检验在三个规模上都未发现显著变化:模型更常收拢到每道题原本最常见的答案,而非统一偏向某个群体或品牌。14B 和 32B 也未出现显著的内容集中效应。换句话说,低比特压缩可能改变的是小模型的“选择范围”,不只是能力分数;部署评估还应检查答案是否悄悄变得单一。


供稿材料 SOURCES — 1

← 返回 2026-09-12 · 学术板块