像餐厅后厨忙不过来时，把做到一半的菜连同备料一起挪到另一口灶上，通常很容易乱套。AI 模型也类似：回答生成途中若要更换 GPU，不仅要搬模型层——模型的一部分权重和运行状态——还可能丢掉已经完成的计算。jitllm 想解决的，正是怎样让模型边回答边“换灶”，从而更灵活地调度性能、显存和品牌各异的显卡。
据作者在 Reddit 发布的演示，Llama-3.2-3B 的全部层在两块 T4 之间来回迁移，分别暂停 8.1 和 8.4 毫秒，没有重新计算任何 token。关键是 KV cache——模型生成文字时保存的注意力中间结果——会分页并随模型层一起移动，因此不必重新执行 Prefill，也就是从头读取和处理提示词。作者还报告，两块 V100 间迁移暂停 20至21 毫秒；笔记本从 CUDA GPU 移到 Vulkan 集成显卡则为 91 毫秒。
这让“模型放在哪块卡上”变成可在运行中调整的调度问题，为异构硬件协作提供了新思路。不过这些结果目前来自作者自述与演示，材料未提供独立测试或更广泛硬件上的验证。