十个人的创业公司想让多人同时使用大模型，未必非得租云服务。开发者 sayamss 分享了一套为客户搭建的本地 AI 服务器：总价 1.8 万美元，装有四张 AMD Radeon R9700 AI Pro，每张 32GB 显存，合计 128GB。显存是 GPU 存放模型和推理中间数据的高速内存；总量越大，越有机会容纳更大的模型和更多并发请求，但多卡显存并不等于一块无缝的大内存。
这套机器还配有 Threadripper 9970X、128GB DDR5 ECC 内存和 1600W 电源。四张显卡均做了降压，每张功耗控制在 210W 以下。作者使用 Radiance 的一个分支部署模型，并报告 Qwen 3.8 27B MXFP4 可同时服务 16 个会话：在每个会话上下文为 4K 至 128K 时，汇总 Prefill——模型先读完输入的阶段——为每秒 6300 至 6800 token；汇总 Decode——随后逐个生成 token 的阶段——为每秒 80 至 900 token。另一组 Qwen 3.8 Next Flash 测试中，每位用户 48K 上下文时，Prefill / Decode 分别达到每秒 6880 / 538.5 token；128K 时为 3050 / 365 token，KV 均采用 BF16。它的价值不在刷新硬件纪录，而在给小团队留下了一份少见的 AMD 自建推理成本与并发样本；不过这些结果仅来自作者自述，材料未披露稳定性或长期运行数据。