AI 推理变慢，不一定是算力不够，也不一定是内存搬得不够快。处理器有时像在等一件迟迟送不到手的材料：面板显示 CPU 已跑到 100%，芯片却可能花了大量时间等数据。这篇工程文章借数据库的 GROUP BY——把相同键值归组后计数或求和——说明，真正拖住系统的可能是内存延迟，也就是一次读取请求要等多久。
文章给出的量级很直观：现代 CPU 每纳秒大约能处理 4 至 8 条指令，而访问 RAM 可能要 50 至 100 纳秒；等待一次内存读取的时间，足够执行约 400 至 800 条指令。CPU 会用高速缓存保存常用数据，但当 GROUP BY 面对约 1700 万个不同 UserID 时，哈希表访问容易频繁“缓存未命中”——目标不在缓存，只能去更慢的主内存寻找。
这也是它对 AI 推理讨论的提醒：内存带宽衡量单位时间能搬多少数据，内存延迟衡量单次访问要等多久，两者不能混为一谈。访问越零散、越难提前准备，系统越可能在带宽尚未跑满前就被等待拖住。原文摘要未给出可归因于推理任务的具体测试，因此更稳妥的结论是：评估真实体验时，不能只看算力与带宽，还要看数据能否及时送到处理器。