你把一叠发票、几张软件截图和一段视频交给 AI，希望它找出异常，再告诉你该点哪个按钮。问题是，能同时处理这些材料的大模型往往也很重。NVIDIA 的 Nemotron 3.5 Super VL 给出了一条值得追踪的路线：模型共有 120B 参数，但采用稀疏设计，每次推理只激活其中一部分，标称激活参数为 12B。
它是一款开放权重的多模态模型——也就是能在同一任务里理解不同形式的信息。按 NVIDIA 模型页的说明，它可接收文字、图片、文档、GUI 截图和视频，最后输出文字。GUI 是窗口、按钮、菜单组成的图形用户界面；模型能读懂屏幕，才有可能进一步帮助 Agent 判断下一步该点击或输入什么。
120B，不等于每次都跑满 120B
Nemotron 3.5 Super VL 的型号写作 120B-A12B：总参数量 120B，激活参数量 12B。它采用稀疏 MoE，也就是“混合专家”架构。可以把模型想成一个有许多专科小组的团队：知识和能力分散在不同专家网络中，处理任务时只请部分专家上场，不必让整个团队同时工作。
这正是标题里“多模态也做稀疏”的含义。不过，12B active 不能简单理解为所有输入、每个 token——模型处理文字时使用的最小信息单位——都固定调用同样的 12B 参数。现有材料没有披露具体路由规则和计算口径。
模型同时采用 hybrid Mamba-Transformer 架构，即把 Mamba 与 Transformer 两类模块交错组合。NVIDIA 模型卡进一步写明，其中包含 Mamba-2、MoE 和 attention layers（注意力层）；第三方实现则把它概括为 Mamba2、少量注意力层与 latent MoE 的混合结构。这里的重点不是某个模块单独取代另一个，而是把几种结构放进同一套视觉语言模型。
它不只会看图
据 NVIDIA 模型页，模型支持最长 1M token 的上下文。这意味着它面向的不只是单张图片问答，也包括文档阅读、界面理解和视频分析等长输入任务。其推理模式默认开启，也可以关闭，或设置 token budget——限定模型用于推理过程的文字额度。
它还采用 Multi-Token Prediction（MTP，多 token 预测），可一次预测多个后续 token，并用于原生 speculative decoding。后者可以理解为先让较轻的预测步骤起草，再由主模型核验，以减少逐字生成的等待。NVIDIA 还提供了 base、BF16、NVFP4，以及 LiLiCorr speculative decoding 等变体或配套权重。BF16 面向全精度参考、定制和评估；模型页则把 NVFP4 指向优化部署。
真正值得看的是工具链
一款开放模型能否进入本地工作流，不只取决于权重是否公开，还要看推理工具是否接得上。官方页面给出了 Transformers、vLLM 和 SGLang 的加载或部署方式；llama.cpp 的 PR #30520 也加入了 Nemotron 3.5 Super VL 支持，并对应到 NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-GGUF。
llama.cpp 是广泛使用的本地推理引擎，能让模型进入普通电脑及多种硬件后端的现有工具链。获得适配不代表这款 120B 模型突然能在任何电脑上轻松运行，但意味着量化、加载和本地部署已有更清晰的入口。对希望把图片、文档、软件界面和视频留在本地处理的开发者，这比单独一张排行榜更实际。
局限与未知
- 本批材料没有可交叉核验的 benchmark 分数，因此不能据此判断它是否领先同类模型。
- 1M 上下文、多类输入支持和推理设置目前都只有一个机构信源；不同硬件上的实际速度、显存需求与长上下文稳定性仍待验证。
- 第三方实现称内置 MTP head 实测快于 LiLiCorr，但没有公开测试环境和完整数据，只能视为实现侧观察。