你让本地 AI 偶尔看张图，过去却得一直为“眼睛”留出显存，哪怕大多数时候只在聊天。Basalt——把 Qwen 3.8 Flash Next 跑在消费级 GPU 上的推理引擎——现在补上了动态视觉：视觉编码器（把图片转换成模型可处理数字的组件）平时待在容量更大的主内存，收到图片后才搬进 VRAM，也就是 GPU 直接使用、但容量有限的高速内存。
据作者介绍，启用 --vision dynamic 后，编码器在加载时几乎不占显存。图片到来时，Basalt 临时借用部分专家缓存槽，将编码器上传到 GPU，约需 30 毫秒；处理完图片，再从主内存补回原有缓存，约需 60 毫秒。没有图片时，纯文本推理不受性能影响。作者还称，其自有计算核心让编码速度最高达到 llama.cpp 的 3 倍，但帖子没有给出完整测试条件。这次更新的意义很直接：此前主打 Blackwell 速度的 Basalt，如今能在有限显存里更灵活地兼顾文字与图像。