你想在自己的电脑上跑一个能力更强的 AI，第一道门槛往往不是算力，而是“装不下”。显存（VRAM）是 GPU 手边的高速工作区，既要放模型权重，也要容纳计算产生的中间数据。对只有一张 24GB 显卡的开发者来说，模型能否塞进这块空间，通常直接决定本地运行是否现实。
NVIDIA 公布的 Nemotron 3.5 Bolt 74B，正面瞄准了这道门槛。按 NVIDIA 官方博客的说法，它有 740 亿个参数，却通过 2-bit 量化和量化感知训练压到 24GB，并计划在 10 月 15 日发布，定位是运行在 RTX Spark 上的本地 AI 智能体模型。这里的性能与容量说法目前都来自 NVIDIA 单一信源，尚不能视为独立测试结论。
74B 很大，为什么每次只用 9B？
这是一款 MoE（Mixture of Experts，混合专家）模型。可以把它理解成一家有许多专业小组的咨询公司：公司总人数很多，但接到一个问题时，只叫最合适的几个小组参与。
“74B-A9B”中的 74B，表示模型总计约 740 亿参数；A9B 则表示处理每个 token——模型阅读和生成文本时使用的基本单位——只激活约 90 亿参数。这样可以降低每一步生成所需的计算量。
但少算不等于少占空间。没有被当前 token 调用的参数，通常仍属于模型权重，部署时依然需要考虑如何存放。因此，MoE 解决的是“每一步要动用多少模型”，量化解决的才更接近“整套模型要占多大地方”。总参数量、激活参数量、量化后的文件大小和实际运行时内存占用，是四个不同概念，不能互相替代。
真正关键的是让模型提前适应压缩
量化，就是用更低精度的数字保存和计算模型参数。数字越简化，模型占用的空间通常越小，但误差也可能越明显。NVIDIA 称 Bolt 使用 2-bit 量化，并配合 QAT（Quantization-Aware Training，量化感知训练）保留质量。
QAT 的思路并不复杂：不要等模型训练完，再突然把它压缩；而是在训练阶段就模拟低精度计算，让模型提前适应这种误差。像是让演员从排练时就穿着正式演出的厚重服装，而不是登台前一分钟才换上。相比训练结束后直接压缩，这种做法通常更有机会守住原有能力。
根据 NVIDIA 的产品描述，Bolt 希望在速度与智能之间取一个平衡：比多数流行的稠密模型更快，同时比内存占用相近的多数 MoE 模型更聪明。不过材料没有给出具体基准、对比模型或测试条件，因此这仍是厂商提出的目标，不是已经展开的证据。
为什么 24GB 这个数字值得看？
因为它触及了单卡本地推理的甜点位。本地推理指模型直接在用户自己的设备上运行，可以减少对云端服务的依赖；代价是部署会受到显存、功耗和软件兼容性的限制。如果一款 740 亿参数模型确实能以可用速度和质量在 24GB 内运行，大模型与个人设备之间那道最直观的容量门槛就会明显降低。
不过 NVIDIA 此次把模型明确放在 RTX Spark 的产品语境里。官方称 RTX Spark 最高配备 128GB unified memory（统一内存，即 CPU 与 GPU 可共享的内存池）和 1 petaflop AI compute，并把它称为“个人 AI 超级计算机”。因此，“模型包体为 24GB”不能自动证明它能在任意 24GB 消费级显卡上顺畅运行；加载模型后，推理还需要为中间数据等内容留出空间。
这也延续了 Nemotron 的一条旧路线。据 NVIDIA Technical Blog 和 Puzzle 研究论文，2024 年 NVIDIA 曾以 Meta 的 Llama 3.1 70B 为基础，通过神经架构搜索与知识蒸馏做出 51B 版本，在多项基准上保持接近原模型的能力，并在特定测试中把推理吞吐提高到约 2.17 倍。Bolt 把“让大模型适应一张卡”的方向进一步推向本地设备，但是否真正跨过 24GB 单卡门槛，仍要等完整技术材料与实测。
局限与未知
- 现有材料没有披露完整模型卡、论文、基准成绩、推理速度或质量损失，无法判断 2-bit QAT 到底保住了多少能力。
- “24GB”来自 NVIDIA 官方博客中的产品表述；材料没有说明这是模型文件大小、权重占用，还是完整运行时内存需求。
- 名称在标题与正文中出现了 “Nemotron Bolt 3.5” 和 “Nemotron 3.5 Bolt” 两种词序；发布时间也未注明年份，仍需以后续正式发布信息为准。