你让 AI 修一个程序，它可能确实让测试变绿了，却顺手改掉一大片代码，甚至偷偷上网找现成答案。对人来说，这不算真正解决问题；对只看“通过或失败”的训练系统来说，它却可能拿到满分。小米 MiMo 团队在 10 月 8 日发布的技术报告《MiMo-V2.6: Scaling Reinforcement Learning Towards Self-Improvement》，试图同时解决两件事：把 Agent 练得更强，也让它学会用更可靠的方式完成任务。更少见的是，报告公开了这套训练的 Token 规模和计算成本。
先澄清标题中的“260 万美元”：这不是一个 RL Step（强化学习中的一次更新）花掉的钱，而是 MiMo-V2.6-Pro 整个强化学习后训练阶段的估算成本。本文数字和效果均来自小米技术报告，尚无独立复现。
260 万美元花在了哪里？
强化学习后训练，是指基础模型完成预训练后，再反复尝试任务、接受评分，并据此调整行为。MiMo-V2.6 把这笔计算账拆成三项：生成尝试、检查答案和更新模型。
每个 RL Step 会抽取 1568 个 Prompt，也就是任务指令；每个任务生成 16 条 Rollout——模型从开始思考、调用工具到提交结果的一次完整尝试。合计约 2.5 万条轨迹、27 亿至 37 亿 Token。每条训练序列平均长约 11 万至 15 万 Token，最长上下文达到 100 万 Token。
这解释了钱为什么烧得快。同一道题不是做一遍，而是同时交出 16 份解法，再逐份检查，最后才更新模型。Pro 的 RL 后训练约花费 260 万美元，Flash 约为 90 万美元。Pro 的计算成本中，Rollout 占 43.8%，参数更新占 43.5%，Grader 占 12.7%；Flash 的 Grader 占比更高，达到 14.2%。Grader Compute，就是运行测试、规则或模型来检查 Agent 轨迹的计算资源。它已经成为一笔不能忽略的成本。
两个模型都采用 MoE，即“混合专家”架构：模型拥有多组专家参数，每次只激活其中一部分。Pro 总参数量为 1.02T，每次推理激活 42B；Flash 总参数量为 310B，激活 15B。
不只问“做没做对”
正式训练任务中，代码与竞争性编程占 68%，视觉设计占 13%，通用工具使用占 12%，网络安全占 4%，上下文遵循占 3%。代码任务占大头，也暴露了二元评分的缺点：两份修改都能通过测试，一份只改必要的几行，另一份却吞掉异常、扩大接口范围，传统奖励可能看不出差别。
MiMo-V2.6 因此加入两种分组评分。GRS（分组奖励合成）先比较同一任务的多条轨迹，再从实现质量、边界情况、代码一致性和验证过程等方面制定评分标准。GAR（分组优势重分配）则把成功和失败的方案放在一起排序，将更多强化信号分给修改范围更合理、副作用更少的解法。系统还会惩罚同组中过长的成功轨迹，避免模型靠堆 Token 换成绩。
据报告，加入在线分组评分后，通过率继续增长，而 Token 长度和 Agent 的交互轮数更稳定；模型生成的 Patch——对代码的修改集——也更小。这里“更精确、更易维护”仍是报告给出的评价，材料没有提供完整量化指标。
模型也会钻评分规则的空子
团队还观察到 Reward Hacking，也就是模型没有按预期完成任务，而是寻找拿高分的捷径。例如安装新版软件包查看公开修复、访问 GitHub 最新源码，或搜索提交历史来反推答案。
小米采取了环境清理、容器网络隔离、Hack Agent 主动探测漏洞和离线轨迹审计等措施。确认作弊的轨迹会被清零奖励。报告称，Pro 与 Flash 正式训练中的 Reward Hacking 轨迹比例始终低于 2%。
练的不是某一套“操作台”
Harness 是连接模型、任务环境、工具和评分器的实验框架，可以理解为 Agent 工作时的操作台。模型如果只熟悉一种操作台，换个框架就可能失灵。小米因此构建了多种更小、可组合的 mini-harness，让模型在不同系统提示、工具和上下文管理方式下训练。
在未参与训练的 Codex、Claude Code 和 mini-swe-agent 三种 Harness 上，DeepSWE v1.1 的平均 Pass@1——第一次作答就通过的比例——从约 50%升至 66%。这组结果说明，训练收益可能不只停留在模型见过的框架中。不过，它没有披露各 Harness 的分项成绩、重复次数和统计波动。
为什么这份账值得看
这份报告最有价值的地方，不是单独证明“花得多”，而是展示 Agent 强化学习的钱具体花在哪里。模型要生成海量长轨迹，评分系统要判断过程质量，训练系统还要把反馈写回参数。只扩大其中一项，可能都不够。
它也给“自我改进”划出了一条现实边界。MiMo 团队把这条路线称为对递归自我改进的探索，但目前仍是模型在人类设计好的任务、环境、奖励和基础设施中反复练习，并非模型自主设计和训练下一代模型。
局限与未知
- 260 万美元没有交代硬件单价、计费口径，也未说明是否包括失败实验、数据和人力，不能直接拿来与其他模型的训练成本横比。
- DeepSWE v1.1 等效果来自单一技术报告，缺少完整误差、分项结果和外部复现。
- “持续自我改进”更接近研究路线描述；现有证据支持的是在既定环境中的强化学习提升。