给 AI 芯片添更多计算单元，像给厨房增加厨师，却没有拓宽送菜通道：人手再多，也可能只能等食材。Micron 在 Hot Chips 2026 的内存教程中用一张图展示了这种“内存墙”——算力约每两年增至 3 倍，HBM 带宽增幅却不到 2 倍。HBM 是紧邻加速器的高带宽内存，负责把模型所需的数据持续送给计算单元。
更值得注意的是，图表采用对数刻度，因此算力与带宽之间的差距实际比视觉上更大。大模型推理需要反复读取海量权重；当搬运速度追不上运算速度，昂贵的计算单元就会闲置。也因此，优化重点正从“继续堆算力”转向少搬数据：把内存放在计算单元旁边、缩短连接，乃至把乘法单元直接放进内存。供稿称，Samsung 已在 LPDDR5X 中出货最后一种方案，并在 Llama 3.1 8B 上测得每秒 token 数提升 3.01 倍；这一结果来自帖子转述，材料未披露完整测试条件。