一台连小数运算都不擅长的老 iPod，能不能在本地跑语言模型？开发者 r0tlier0 给 2006 款 iPod Video 5.5G 写了一个 Rockbox 插件，让它运行 Karpathy 的 llama2.c TinyStories 模型。这类“边缘推理”把模型直接放在设备上运行；有意思的不是它能取代手机，而是借一台极弱的机器，直观检验语言模型最低需要多少计算与内存。
这台 iPod 的处理器频率为 80MHz，内存只有 64MB，而且没有 FPU——专门处理小数运算的硬件单元。作者因此移植了 llama2.c 的 INT8 版本，用 8 位整数近似模型权重，并把计算全部改成整数：exp、softmax 等运算依靠查找表，RMSNorm 则使用整数平方根。作者称，15M 模型占 17MB，可从硬盘直接载入原本给音乐使用的缓冲区；代价也很直白，模型运行时不能同时听歌。作者还计划利用双核，并尝试本地音乐推荐，但目前尚未披露生成速度与输出质量。