部署大模型像收拾一张太小的书桌:显存和内存摆不下所有资料,就把不常用的部分留在 SSD,需要时再取。vLLM——负责加载大语言模型并处理生成请求的开源推理引擎——夜版现为 Qwen4Exp 的 PLE 表加入这条“容量换速度”的路径。夜版是从最新代码频繁构建的测试版本,能较早试用功能,但稳定性和兼容性通常不如正式版。
启用 disk_offload 后,PLE 表不再整体常驻 GPU 显存或锁页主机内存,而是保留在 safetensors 检查点文件中。模型每一步生成时,只按当步需要的 n-gram ID 读取对应行,再复制到固定的 GPU 缓冲区;BF16、FP8 和 NVFP4 格式都可沿用。好处是降低常驻容量要求,让资源吃紧的机器多一种部署选择。代价也很直接:磁盘读取、数据传输和同步可能增加等待。供稿中的代码讨论还指出,实际节省和性能影响尚未测量,因此它目前更适合试验,而非把收益视为定论。