同一个大模型，换一套“运行软件”，速度可能就大不一样。推理引擎负责把训练好的模型装进电脑，并调度显卡、处理器和内存；Strata 这条社区分支，正尝试让显存有限的消费级显卡跑得更快。
据 llamaperf 整理的社区测试，单张 RTX 5080 16GB 配合约 51GB 系统内存，运行 IQ3_S 量化版 Qwen3.8-Flash-Next 时，提示处理约达 5500 tok/s，代码与工具调用场景的生成峰值最高约 275 tok/s，推理过程峰值约 190 tok/s。tok/s 是每秒处理或生成的 token 数；token 可以粗略理解为模型拆分文字后的基本单位。IQ3_S 则是一种低比特量化格式，用较低精度换取更小的内存占用。
这组结果说明，社区仍能通过引擎和内存优化，继续挖掘单卡性能。不过它来自特定硬件与现场任务的用户报告，275 tok/s 是峰值，并非独立实验室测得的标准化持续速度。