你给五位同事共用一间会议室，人数翻倍，不代表工作也会翻倍。大家可能开始抢白板、等资料，最后新增的人只是在排队。本地 AI Agent 也一样：两张 RTX 4090 能启动多少个 Agent，不等于能让多少个同时高效工作。
一位中型非营利机构的 CTO 为此做了三周测试。他用本地 Qwen 模型处理编码任务，一是因为部分资料不宜离开机构，二是批量代码工作的 Token 费用会迅速累积。他真正想知道的不是一次回答能跑多快，而是多名编码 Agent 同时请求模型时，机器何时开始变得不好用。
先说结论：在他的特定配置下，64K 上下文约有 5 个 Agent 的“软上限”，9 个则被称为“硬上限”。64K 指每个请求最多读取约 6.4 万个 Token，也就是模型处理文字和代码时采用的计量单位。但原帖没有给出这两个上限的明确定义、完整指标和原始日志。因此，更稳妥的理解是：5 是作者认为仍具实用性的经验值，9 是设备能够承受的边界，而不是双 4090 的通用答案。
本文数字均来自作者在 Reddit r/LocalLLaMA 的自述。目前没有论文、代码、完整图表或第三方复现，模型名称也有待按正式发布信息核对。
真正昂贵的是“同时记住”
测试机器配有两张 RTX 4090，可用显存合计 44.6 GiB；这不是显卡标称容量。其余硬件包括 Threadripper TRX50 和 128 GB DDR5。作者在 Windows 上使用 llama.cpp——一套让大模型在本地硬件运行的软件，并在三周内测试了四个模型和三种量化方案。
量化，就是用精度更低的数字保存和计算模型，以节省显存，代价可能是质量下降。测试统一采用 q8_0 KV。KV Cache 可以理解成模型阅读长材料时留在桌上的草稿：有了它，模型不必反复重算前文；但上下文越长、同时工作的 Agent 越多，草稿占掉的显存也越大。
这正是“几个 Agent”难以用一个数字回答的原因。Agent 是否真的读满 64K、提示词和回答有多长、选择多大的模型、怎样量化与批处理，都会改变容量。超过某个阈值后，作者观察到继续增加 Agent 已不再带来收益，但供稿截断在正文中途，没有留下足够数据解释收益如何测量。
测试还险些被 Windows 的旧默认设置带偏。作者原以为压测程序同时放出了 16 个 Agent，后来才发现旧版 Windows PowerShell 的 HttpWebRequest 对同一主机默认只开放两个连接，其余任务一直排队。因为程序此前在采用另一套网络组件的 PowerShell 7 上验证过，这个问题没有立即暴露。所谓“16 路并发”最终只能推倒重测。它提醒我们：并发测试测到的有时不只是显卡，也可能是请求工具的排队规则。
大模型能跑，不等于适合干活
作者最初想让 Qwen3.5-122B-A10B 这类 MoE 模型跑快。MoE，即“混合专家模型”，每次计算只调用模型中的部分专家模块。该模型采用 UD-IQ4_XS 量化并把部分专家计算卸载后，生成速度为每秒 18.75 Token。
但编码 Agent 往往要连续调用工具。作者测得，这个 122B 模型每次 Agent 工具调用耗时 11.91 秒，27B 模型则是 3.40 秒，前者约慢 3.5 倍。单次等待看似只有数秒差距，一项任务若要调用几十次，迟滞会层层累积。因此作者最终放弃 122B，转向较小的 27B。
机器的内存配置也拖累了大模型。TRX50 有四个内存通道，但这台机器只安装两条 64 GB 内存，仅占用其中两个。部分模型权重若放进系统内存，生成每个 Token 都需要经过内存总线。作者认为，补齐内存通道可能比继续调整参数更有效，但升级成本难以接受。因此，18.75 tok/s 和 11.91 秒更像这台具体机器的结果，不能代表充分配置后的普遍水平。
最快的候选，也未必最稳
Qwen3.6-35B-A3B 的原始生成速度达到 78 tok/s，每次调用耗时也是测试中最短。但它在 5 个实际执行的代码任务中，因为 sliding-window bug——与模型只保留一段滑动上下文有关的故障——失败了 1 个；27B 则通过 5 个。
作者最终选择 27B，称原因并非测得更高的准确率，而是速度、调用延迟等其他方面更好。不过样本只有 5 个任务：4/5 对 5/5 既不足以证明两者质量相当，也不足以可靠判定谁更准确。78 tok/s、18.75 tok/s 与工具调用延迟还涉及不同模型和运行条件，也不能直接拿来解释并发上限。
为什么这组数字仍值得看
单次跑分像测一辆车的最高时速，并发 Agent 测试更像观察早高峰能运走多少人。对准备搭建本地 Agent 服务的团队，真正影响体验的往往是长上下文占用、多人同时请求和连续工具调用，而不是一条回答的峰值速度。
这组三周记录给出的有用判断，不是“双 4090 保证养五个 Agent”，而是容量规划必须围绕实际工作流做：先确定模型、上下文和任务负载，再测延迟何时开始失去实用性。两张消费级显卡只是预算边界；能否让五个 Agent 好好工作，还取决于显存之外的整套系统。
局限与未知
- “软上限 5、硬上限 9”缺少定义、完整曲线和原始数据，属于单一作者在特定配置下的经验结论。
- 供稿正文被截断，四个模型、三种量化方案及并发测试的完整方法和结果没有全部披露。
- 机器只启用了两个内存通道，尤其可能限制需要大量 CPU/RAM 卸载的大模型；这些数字不应直接外推到其他配置。