来源:线上获客 2026-11-10 01:36:16 字号: [ 大 中 小 ]
如果一款内部模型在 9 到 10 月完成训练,AECI 综合能力指数达到 178.6,超过公开的 Opus 5.5 和 Mythos 5.1,真正值得讨论的就不只是“Model 4 有多强”,而是模型研发速度本身是否正在加速。
METR 最近发布的一份调查,把 Anthropic 内部未公开模型、研发自动化和能力增长潮流放在了一起。报告认为,2025 年 10 月之后,Anthropic 模型的能力进步速度约为此前的 1.9 倍;而这轮加速中,约 80% 可能来自 AI 对研发工作的参与。
这些资讯主要来自第三方评测、内部访谈和公开变数文件,不能等同于 Anthropic 已正式发布 Model 4,也不能直接证明 RSI 已经发生。更适合把它看成一个工程预警:当 Agent 能够帮助研发更强的 Agent,小组需要同时升级评测、权限和安全治理。
METR 在附录中列出了四款内部未公开模型:2022 年训练完成的 Unreleased 2022、2026 年 7 月训练完成的 Model 2、8 到 9 月训练完成的 Model 3,以及 9 到 10 月刚完成训练的 Model 4。
Model 4 的 AECI 得分为 178.6,高于公开模型 Opus 5.5 的 174.5 和 Mythos 5.1 的 172.5。AECI 可以理解为把多个能力基准折算成的综合指标,但它不是一个可以脱离测试集、任务分布和评测设置单独解释的“智力分数”。
Model 4 参加的 15 项基准测试,每一项正确率都超过 50%。9 个月前,Opus 4.6 还有不少测试无法过半。METR 还发现其中 15 个测试有 3 个存在长尾过难或题目损坏的问题,剔除后重新计算,Model 4 的 AECI 可能再增加 1.1 分,达到 179.7。
这类结果也提示评测工程的难度正在上升:当模型接近测试上限时,题目损坏、长尾样本和 Token 预算都会影响结论。下一代评测不能只增加题目数量,还要检查任务有效性、难度分布、污染变数和模型是否真正完成了任务。
METR 的调查还记录了 Model 4 的 Token 消耗。普通基准任务平均消耗约 250 万输入 Token 和 7 万多输出 Token;如果让 Agent 完成代码任务,单任务输入可能达到约 1000 万 Token,输出也接近 9.4 万 Token。
对于开发者来说,模型能力不能脱离任务成本评估。一次看似成功的代码任务,如果消耗了数百万 Token、经历多轮工具调用和长时间等待,真实交付成本可能远高于单次 API 价格。
建议把 Agent 评测拆成四项:
如果模型一直刷题、刷代码或刷实验,却没有带来相应的有效产出,Token 消耗越高不代表能力越强。模型越能自主执行,预算、停止条件和任务检查点就越要紧。
METR 把 2025 年 10 月 7 日视为一个要紧分界点。在此前的阶段,Anthropic 模型 AECI 得分每年大约增长 15 分;从 2025 年 10 月开始,曲线变成每年增长约 29 分,增速约为过去的 1.9 倍,95% 置信区间为 1.5 到 2.8 倍。
Anthropic 今年 8 月的变数报告曾提出一种较温和的解释:增速变化可能只是新工具和新评测做法带来的一次性台阶。METR 随后进行盲测,用 Mythos 5 及更早模型的数据画出两条预测线,再去预测后续 Model 2、Model 3、Opus 5.5 和 Model 4。
结果显示,在 81% 的统计抽样中,“长期持续提速”预测误差约 1.9 分,而“一次性跳涨”预测误差达到 3.9 分。这个结果更配套持续加速假设,但它仍然是统计模型对已有数据的解释,不是未来必然沿着同一曲线成长的证明。
为了判断增速来源,METR 把训练算力、算法和人员投入拆开拆解。报告认为,2025 年 10 月之后训练算力的增长率反而比此前更慢,因此不能简单把能力改进归因于堆算力。
真正值得关注的是研发自动化:METR 估算,当前约两倍的研发加速中,大约 80% 来自 AI 对研发工作的辅助,其余才来自探究员数量增加和推理算力扩容。
这里的“AI 辅助研发”不是一句宣传语,而是具体工作流变化:Agent 写实验代码、运行基准、处理数据、生成评估结果,探究员可以同时启动多个方向,再决定哪些结果值得继续。
如果 10 个探究点子同时交给 Agent 试跑,探究瓶颈就会从“写代码”转向“想出好点子、判断结果和获得算力”。这会显著拉高探索宽度,但也会带来更多无效实验、更多 Token 消耗和更高的安全审查压力。
METR 通过内部非正式调查和 Slack 全员投票观察 Anthropic 探究员的工作变化。2025 年春天使用 Claude 3.7 Sonnet 和 Opus 4 时,探究员自报效能改进约 1.3 到 1.4 倍;今年 6 月使用 Mythos 5 时,提速约 5 倍;10 月使用 Model 4 时,自报研发提速达到约 12 倍。
这些是自报数据,不应直接当作严格的生产效能指标,但可以帮助理解工作做法的变化。探究员经历了三个阶段:先把 Claude 当作自动补全,后来让单个 Claude 实例开发完整功能,再到同时指挥一群 Agent 并行跑实验。