在家用显卡上跑大模型,速度常被许多零碎操作拖慢,像做一道菜却要反复开关灶火。这项实验为 Qwen3.8-27B 和单张 RTX 3090 写了专用 CUDA Megakernel——把原本分散的 GPU 计算合进一个大型内核,减少调度和中间数据读写。
作者称,关键是把一次完整的推测解码周期塞进一次内核启动:系统先草拟 4 至 5 个 token(模型切分文字的基本单位),再由目标模型集中验证,成本接近只检查一个。其自测中,代码生成达到 140 tok/s(每秒生成的 token 数),llama.cpp 为 73;带 4K-token 文件上下文时为 95 对 56;提示处理速度约为 1600 对 1100 tok/s。不过这套实现只针对 unsloth 的 Q4_K_M 版本和 RTX 3090,优势说明专项优化潜力,不代表它能直接复用于其他模型或显卡。