老显卡不一定只能吃灰。作者把 DeepSeek-V4.1-Flash 部署到八张 2018 年的 NVIDIA V100 上,实测代码生成超过 200 tok/s,法律写作约 110 tok/s。tok/s 是每秒生成的词元数,不能直接理解成“每秒多少字”,也不宜拿来跨模型硬比;但对一套旧硬件而言,这组速度仍是醒目的实机样本。
这套机器共有 248.8GB 模型权重,全部放在显存里,生成时不必把部分权重从系统内存临时搬回。八张卡采用“流水线 2 × 张量并行 4”的拆分方式,也就是把模型计算分摊到多张 GPU。作者还报告,系统读入 128K 长提示时,预填充速度约为 2,200 tok/s;预填充就是 AI 正式回答前先处理整段材料。它说明老卡经过专门优化,仍可能承接部分代码和长文任务。不过这些数字来自作者自测,材料没有提供独立复现结果。