你想在家里运行大模型，通常先想到 GPU。但显存够大的卡并不便宜。现在，一位实验者换了条路：买来退役的加密货币矿卡，把里面的 FPGA 重新配置成大模型推理电路，并声称已用两张卡跑起一个 9B 规模的 Qwen 模型。速度不快，搭建也远非即插即用，但它展示了一种有意思的可能：旧矿机留下的硬件，或许能变成本地 AI 的专用设备。
需要先说明：目前全部结果都来自作者的一篇 Reddit 自述，没有论文、代码仓库、完整测试或第三方复现。帖子对模型名称也有明显矛盾，标题和实测部分写的是 Qwen3.5，正文却提到“3.8”。因此，本文沿用作者原称，但不能确认准确版本。
矿卡里，藏着一块可重画的芯片
FPGA 是一种能重新配置内部数字电路的芯片。GPU 像一间配好设备的通用厨房，FPGA 则允许开发者重新安排灶台、传送带和工位，为某一种计算铺出专门的数据通路。代价是开发更难，硬件适配也更麻烦。
作者找到的 SQRL FK33 原本是矿用 FPGA 卡。他称单张在 eBay 上约售 280 美元，配有 8GB HBM2，带宽约 400GB/s。HBM2 是紧贴计算芯片的高带宽内存，容量未必很大，但能很快地把模型数据送进计算单元。大模型推理经常卡在这一步，因此旧矿卡上的 HBM2 成了它重新上岗的关键条件。
模型采用 INT4 量化，也就是用 4 位整数近似保存权重。说白了，这是把模型压得更小，让有限的内存装得下，也减少搬运和计算负担。不过压缩越激进，越需要检查输出有没有变差；帖子没有提供完整的准确率评估。
两张卡接力，主机负责递棒
据作者自述，两张 FK33 在 75MHz 下运行了 Qwen3.5-9B INT4。系统把模型的流水线拆到两张卡上，同时由主机在卡间传递 residual——模型逐层计算时需要继续带往后面的中间信息。因此，这还不是脱离主机、完全由 FPGA 独立完成的推理系统。
作者报告，处理输入阶段，也就是 prefill——模型先把用户给出的整段提示词读一遍——在 256-token 输入时约为每秒 6 个 token，在 2300-token 输入时约为每秒 5.5 个 token。Token 是模型切分文字后的基本单位，并不严格等于一个汉字或一个英文单词。
进入逐字生成后，短上下文开头约为每秒 3.2 个 token；上下文增长到 2000至3000 token 时，速度降至约每秒 2.4 个 token。作者还称，FPGA 的输出已经逐层与 llama.cpp 核对。llama.cpp 是常见的本地模型推理实现，这种核对能帮助发现某一层计算是否偏离参考结果，但它不能替代完整的质量与稳定性测试。
27B 还只是纸面推演
作者后来以约 375 美元买下一张 SQRL Jungle Cat。这是一块包含两个 FK33/VU35P 单元的退役矿用板卡。他准备借此挑战更大的 27B 模型，但帖子所列的 Qwen3.8-27B INT4 性能并非实测。
作者明确写道，这些数字是依据 9B 模型逐算子的测量结果建模估算，“尚未实际运行”。其估计是：一张 Jungle Cat 在 75MHz 下，prefill 约为每秒 2 个 token；短上下文生成约为每秒 1.1 个 token；到 16000-token 上下文时约降至每秒 0.5 个 token。模型版本名称本身仍有矛盾，所以这些数据只能视为尚待验证的工程预测，不能说成“27B 已经跑通”。
真正的阻碍甚至不全在模型。材料显示，Jungle Cat Lite 缺少足够快的权重加载方式，芯片之间的 GTY 高速连接也缺少时钟源。作者认为后者可以补焊元件解决，前者可能需要重新设计连接板。这正是二手矿卡路线的现实一面：买卡便宜，不等于整套系统便宜或省事。
为什么这条路线值得看
它的价值暂时不在速度，而在硬件选择。GPU 之外，FPGA 可以按模型计算重新编排电路；退役矿卡又提供了相对便宜的 FPGA 与高带宽内存组合。对愿意自己设计硬件的实验者来说，这可能是一条新的本地推理路线。
作者下一步希望用 4 颗 XCVU35P、合计 32GB HBM2 搭建推理引擎，但这需要定制载板。换句话说，项目已经证明的范围仍然很窄：作者声称两张 FK33 跑过 9B INT4；27B 和更完整的四芯片系统，都还停留在估算或计划中。
局限与未知
- 所有性能数字均为作者单方报告，缺少代码、复现实验和第三方测试；模型真实名称与版本也无法从材料中确认。
- 材料没有披露量化细节、功耗、首 token 延迟、采样设置、质量损失，以及完整的时钟和内存配置。
- 约 280 美元和 375 美元是作者发现或支付的二手价格，不包含运费、税费、成色风险与改装成本，也不能代表稳定行情。