在笔记本上跑本地大模型，底层计算程序相同，换一套“交通调度”也可能更快。SonicBoom是一个无Python依赖、以C++/CUDA编写的模型运行时——负责读取模型、管理内存并安排计算。作者发布首个v0.0.1版本，并将它直接对准常用的本地推理项目llama.cpp。
据作者自测，同一台配备8 GB RTX 3050的笔记本上，两者运行同一份Gemma 4 E4B-it Q3_K_M模型文件，SonicBoom解码达到51.65 tok/s，llama.cpp为45.20 tok/s，领先约14%。关键在于双方采用相同的量化计算内核；SonicBoom的计算图编译器会预先合并运算、复用量化结果、删除无效计算，并把每步解码打包为一次CUDA Graph执行。不过它的长文本预处理速度仅约为llama.cpp的一半，目前只验证了一个模型、三种量化格式和RTX 30系列显卡，也只支持greedy sampling（每次直接选择概率最高的词），尚不能替代llama.cpp。