想在普通显卡上跑大模型，常见难题不是模型不会算，而是显存装不下、底层软件又不够快。RustingStrata 是一套面向 Qwen 的推理引擎——负责加载模型并调度 CPU、GPU 生成文字。它读取 GGUF 格式模型，但不依赖 ggml，并用强调内存安全与性能的 Rust 重写运行时。启动时，它通过 NVRTC（运行时编译 CUDA 程序的组件）为 NVIDIA GPU 编译计算内核；同一套内核也能走 Vulkan。
最值得看的，是作者在 RTX 3060 12GB、Ryzen 7600X 和 32GB 内存上的自测。运行 Qwen3.8-Flash-Next 的 IQ2_XS 量化版、输入 943个 token 时，原版 Strata 的生成速度为每秒 19—22 token，RustingStrata 的 CUDA 版本约为 36；预填充——模型先读懂整段输入的阶段——则从每秒 140—146 token 提升到平均约 370。秘诀是让放不进显存的 MoE“专家”模块在 CPU 上与 GPU 同时工作，并把常用专家动态搬进显存。以上均为作者自述；首次冷启动受磁盘读取限制时，原版 Strata 在其早期测试中反而更快。