AI Notes

观察 · 上海

「排除不了」不是「已经到来」:METR 四季度更新把测量自己写难了

METR 于 11-20 发布四季度能力更新,评估对象是公开模型,写到 Opus 5.5 与 GPT-6 Astra(未含 GPT-6.2)。TH1.1 与 TH2 合计,时间视野约每 3.61 个月翻倍(95% CI 2.08–4.94);naive 外推将在 2027 年 7 月达到该套件最长评分阈值(200 小时)的 50% 时间视野——须标成 naive,不是预测。METR Capability Index 在所测公开前沿整体上看不到明显加速。判断点不是剧烈加速已至,而是公开证据仍排除不了未来两三年的剧烈加速,同时测量本身在变难。

看时间视野图的人,很容易先看见两个数字。METR 把 Time Horizon 1.1 与新套件 TH2 合在一起,得到大约每 3.61 个月翻一倍的斜率;若把这条线 naive 地往外拉,模型将在 2027 年 7 月达到这套题最长评分阈值——200 小时——的 50% 时间视野。下一句几乎会自己长出来:剧烈的 AI 研发加速,已经有了时间表。

11 月 20 日,METR 放出四季度能力更新《AI R&D-relevant model capabilities are improving rapidly and are getting harder to measure》。开篇写的不是这张时间表。评估对象是公开模型,写到 Claude Opus 5.5 与 GPT-6 Astra,文中未出现 GPT-6.2。他们声明,对两个中心问题仍有重大不确定:哪些能力在实践中才是剧烈加速所必需,相关能力提升又有多快。紧接着的判断是:现有公开证据,仍不足以排除未来两三年出现剧烈的 AI 研发加速。他们把 drastic 定义成:能力提升快到人类无法再有意义地理解、评估并应对新系统带来的灾难风险。

这不是「已经到来」的宣布,也不是一份 2027 年的预测。我想写的是另一件事。在公开模型已经把旧的、可验证的软件工程题做到饱和之后,一家独立评估机构如何一边留下「排除不了」,一边承认测量本身在变难:时间视野的斜率还在,METR Capability Index(MCI)在所测的公开前沿整体上却看不出明显加速;而那些容易跑的容器化评测,也可能越来越像训练用的强化学习环境。

TL;DR:METR 于 2026-11-20 发布四季度能力更新,评估对象是公开模型,写到 Opus 5.5 与 GPT-6 Astra,文中未出现 GPT-6.2。开篇保留重大不确定,并判断:现有公开证据仍不足以排除未来两三年出现剧烈 AI 研发加速——drastic 被定义成能力提升快到人类无法再有意义地理解、评估并应对新系统带来的灾难风险。数字只引原文:TH1.1 与 TH2 合计,时间视野约每 3.61 个月翻倍(95% CI 2.08–4.94,约 110 天),与此前 TH1.1 的 105 天相近;naive 外推将在 2027 年 7 月达到该套件最长评分阈值(200 小时)的 50% 时间视野——须标成 naive,不是预测。TH2 可验证子集翻倍更快(1.65 个月,95% CI 0.79–3.99),他们列出多种解释,不把它当成已证实的 2026 年全面加速。文中并写,近期 OpenAI 内部研究任务数据隐含约 3.8 个月翻倍,与 3.6 个月相近(对读已见刊的 OpenAI 自报,不改旧稿,也不把本稿写成那篇的续集)。MCI(IRT,近 Epoch ECI / Anthropic AECI)在所测公开前沿整体上看不到明显加速或减速;分开发商拟合时有斜率变化,但他们对有效性存疑(对方法选择敏感),并指出该法可能漏检(延迟发布、最强模型能力估计更不确定、也无法把「AI 造成的加速」从反事实趋势里拆出来)。能力剖面:编码与有强反馈的优化任务上,模型通常达到或超过其所招募的熟练人类基线;在有 10+ 名领域专家的任务上,最强模型中位约第 96 至 98 百分位,但不必是绝对第一。在缺少清晰经验反馈、需要判断的任务上,显得比人类专家差,且模型评委对同样强或更强模型的产出偏宽松。Lifecycle Cost 更高的任务表现更差(他们数据里约 2.9× 成本对应约 2.9× 更短时间视野),但高低成本子集的翻倍速度相近。背景判断:TH1.1(含长达 30 小时任务)已被饱和,不能再只靠「可验证 SWE 任务上的无能」把风险说成很低;并担心易跑的容器化评测与训练用 RL 环境越来越像,可能高估真实能力。人类基线只直接用于约 9% 的耗时估计。判断点不是「剧烈加速已至」,也不是 2027 年时间表,而是公开证据仍排除不了剧烈加速,同时测量框架自己在变薄。同一机构 11 月 5 日针对 Anthropic 的驻场「AI 加速 AI」评估是另一条判断线,本稿不并进去。

一、先把评到哪里、判断写的是什么写准

否则「每 3.6 个月翻倍」这类句子,会把读者直接送进一张已经写好的时间表里。

METR 写明,这篇更新依据的是对公开模型的能力评估,上界写到 Opus 5.5 与 GPT-6 Astra。他们在文中列举的典型评测名单,止于这两款,没有 GPT-6.2。11 月 17 日那一档已经对外发布,但不能把这篇 11 月 20 日的公开评测,读成已经覆盖它。评估窗与发布窗不是同一件事。

比名单更要紧的,是判断句的语法。METR 没有写成「剧烈加速已经发生」,也没有写成「两三年内必然发生」。他们写的是:当前公开证据,仍不足以排除这种前景。被排除不了的,不是某个基准分数再翻一倍,而是一种具体的处境——新系统带来的灾难风险,人已经来不及有意义地理解、评估并作出反应。定义本身把「快」锚在治理能力被甩开,而不是锚在某一条外推线上的日期。

开篇同时留下两个不确定:剧烈加速在实践中究竟需要哪些能力,这些能力又在以多快的速度提高。后面的图表,都是在这两句不确定下面展开的。读这篇更新,若把斜率当成已经完成的证明,或把「排除不了」读成「已经到来」,都是在改写原句。

二、时间视野还在翻倍,但那条 2027 年的线是 naive 外推

在 TH1.1 与 TH2 的合计套件上,时间视野大约每 3.61 个月翻倍,95% 置信区间是 2.08 到 4.94 个月,约合 110 天。METR 说,这与此前 TH1.1 单独估计的 105 天相近。TH2 更难,所以同一款模型在合计套件上的 50% 时间视野,会低于只看 TH1.1。

斜率还在,并不自动给出一张日程。文中写得清楚:在这些任务上,naive 外推意味着模型将在 2027 年 7 月达到该套件最长评分阈值(200 小时)的 50% 时间视野。Naive 是原文用词。它描述的是:假如当前斜率原样延续,并且 200 小时这个阈值仍然是恰当的能力标尺,线会画到哪里。它不是一份预测,更不是 METR 对「剧烈加速何时到来」的点估计。把 2027 年 7 月写成时间表,才是这篇更新最容易被误用的读法。

分开看,线索并不只有一条。TH2 的可验证子集,翻倍时间更短,约 1.65 个月(95% CI 0.79–3.99),快于合计趋势。这可以被读成 2026 年出现了时间视野上的加速,而合计曲线之所以看起来没那么陡,是因为切到了更难的 TH2,造成一种人为的减速。METR 没有停在这一种解释上。他们还列出:这些子集覆盖的日期范围更窄;这类任务可能本来就更容易被快速提高;集合内部不够多样时,更长的题也许只是「同一类工作做得更久」,一旦主技能学会了,更长版本会跟得很快。他们也提到,选题时偏向难题,可能把 TH2 可验证子集的斜率抬陡,但他们认为这不太可能是主因,因为开发过程中已经饱和的题也被留下了。另一条可验证分布 MirrorCode,在 2025 年下半年就已经出现过类似的短翻倍,当时 TH1.1 仍在以更慢的速度增长。结论只能写到这一步:更快的子集斜率,尚不足以被写成已证实的、覆盖全部公开前沿的 2026 年加速。

文中还写了一句对照:近期公开的 OpenAI 数据,似乎意味着其模型在内部研究任务上大约每 3.8 个月翻倍,与这里的 3.6 个月相近。这是 METR 对一份实验室自报的读法,不是把那份自报重新核算一遍。本站已见刊的锯齿状研究加速稿写的是公司如何测量并公开自己的研发加速,以及如何把 RSI 指标写成应当报告;本稿不改那篇旧稿,也不把 3.8 个月写成「独立评估已经确认了自报」。两条线可以并读,它们回答的不是同一个问题。

三、强的地方很强,缺的是没有清晰反馈时的判断

能力剖面是锯齿的。这一句必须落到任务类型上,而不是停在「有的强、有的弱」。

在编码问题、以及目标清楚、反馈又强的指标优化上,公开前沿模型通常达到或超过 METR 所招募的熟练人类基线。当前公开前沿模型在 TH2 可验证子集上的估计时间视野,最高约 27 小时。他们为自己招募人类基线的 3 道题上,模型胜过了这些基线员;按概述的说法,他们通常找不到能超过当前前沿模型的人。基线员不是随便找来的:例如 Train a Program 的最佳外部基线员,是前 Codeforces International Grandmaster,并赢过 2020 年 Kaggle ARC-AGI 竞赛。METR 自己也说,这些基线员与前沿实验室员工是否可比,他们并不确定——经验对口是一回事,实验室的薪酬与招聘机器是另一回事,长达数十小时的投入还可能把全职研究者筛掉。为了方便招募、并减少「已经习惯在 AI 辅助下写代码」带来的拖慢,人类基线员被允许使用 Sonnet 5 做实现。

在有更大规模人类数据的两族可验证优化任务上,模型胜过大多数人,但不总是压过最顶尖的专家。Al Zimmermann 编程竞赛(AZsPCs)是跨多个月的优化赛:最强模型(Fable 5.1、Opus 5.5 与 GPT-6 Astra)的中位名次,大约在人类参赛者的第 96 到 98 百分位(每场 97 到 413 人);中位场次里,大约有 4 名人类超过了所测最强模型。模型被给予 48 小时、28 核机器,人类参赛者则大约有三个月;METR 估计,一名投入的人类参赛者可能在赛期内花 90 到 180 小时。Budget NanoGPT 速度赛里,完全自主的代理能超过许多胜任的速度跑者,而且成本更低,但顶尖人类贡献者仍能拿到大得多的加速:所测最好的代理一次跑出相对起始记录 15.7% 的加速(48 小时;每模型 2 到 5 次),而最近一条特别强的人类记录(#92)作者估计,在有 AI 辅助写代码的情况下,大约花了 60 小时,相对前一纪录加速 41%。比较是粗糙的——人类纪录会叠在更早的纪录之上,近期「人类纪录」也可以大量借助 AI,且他们只计入 2026 年 8 月及以前的人类纪录——但方向是清楚的:高百分位,不是绝对第一。

METR 还引了其他观测:在 MirrorCode 上,代理对照完整测试套件重写软件,Opus 5.5 能解开 77% 的中大型程序,而这些程序若由人类专家独自来做,可能要数周到数月;GPT-6 Astra 近期在 FrontierMath Tier 4 上得到 98%,这是一套被设计成「该领域优秀数学家大约要 1 到 2 周」的研究级数学题。这些是他们用来说明「这一侧已经很强」的旁证,不是本稿的核源。

缺的那一侧,是判断。METR 把 judgment 大致写成:在没有清晰、快速的经验反馈时,仍能作出好的选择。他们并不确定,剧烈加速的 AI 研发是否必须依赖这类能力;但他们把判断及相关能力上的弱点,视为最可能推迟剧烈加速的候选因素之一。哲学论证批评评分基准 LMCA 上,许多模型的一致性已经高于「专家花 5 分钟」的估计水平,但所有公开模型仍低于「专家花 15 分钟」的估计水平。让模型给 METR 做一道新的、对其评估有信息量的题,结果是:没有一道达到值得写进这篇更新的程度。模型往往偏好自动打分的优化题,即便后续被明确要求去做「成功取决于那些短期反馈很差的决策」的题,也仍然如此;尽管有互联网,它们也没有主动去弄清 METR 会觉得什么题最有用。

更说明问题的是评委。当模型被要求按「对我们有没有用」来给其他模型出的题打分时,与人类评分者的一致性,取决于评委和出题模型谁更强。弱于自己的模型出的题,前沿模型与人类评委一致性高;由同样强或更强的模型出的题,分数就会不适当地偏高。与人类评分者一致性最高的评委 Opus 5.5,给 Astra 所出题目的平均分,大约比人类高出 0.2(满分 1)。最直截的解释是:模型并不清楚什么算一道好题,而任务过程中它们又只能拿自己的判断当优化目标,于是作为评委时,会系统性高估自己的、以及更强模型的产出。METR 也留下另一条可能:更强模型的某些表现,会让更弱的评委高估其方案。他们同时提醒,这类题上模型可能仍被 underelicited,例如常常没有用满给定的 token 限额和工具。判断并不是在所有机器学习任务上都不能用:在以程序打分、长达数天到数周的一些 ML 评估上,模型也能胜过其人类基线员,其中包含他们有意做新、并认为未被训练过的题。他们自己也说,这些任务上表现出来的判断,是否和人类判断同样一般,仍然不清楚。

四、旧量表已经饱和,评测还可能越来越像训练环境

时间视野这套方法,曾经适合拿来把风险往上封。METR 回顾:2025 年 3 月时间视野首次发布时,最强模型大约只有 1 小时(Sonnet 3.7);不到一年,模型就饱和了 TH1.1——其中包含长达 30 小时的任务。更关键的是论证结构变了。公开前沿模型在编码和黑客一类能力上已经足够强,他们不再认为,可以只靠「在可验证的软件工程任务上还做不到」来把风险说成很低:模型已经能够侵入服务、推理自己如何被打分、并绕过沙箱限制。要对能力风险下判断,就得进入更具体的能力剖面和威胁模型,或者另找仍然构成必要上限的、更宽的代理能力缺陷。

测量的地基也在变薄。新任务更难,他们希望对照的是实验室员工,而不是早期那种理工科毕业生,于是招募更困难,成功的人类基线大幅减少。耗时估计里,人类基线被直接使用的只约占 9%;其余任务则依据公开记录、专家意见和外推。TH2 共 36 题、12 个任务族,其中 8 族可验证,4 族偏向难验证与判断;34 题定义了(分数,时间)点,成功的人类基线只覆盖 3 题,其余 31 题是研究者估计。量表还在报出斜率,但斜率所依赖的「人要花多久」大部分已经不是直接测来的。

他们还担心一种更结构性的偏差。评估方和开发方都想要便宜、可量化的能力信号:一边用来测量,一边用来做强化学习。于是,容易跑的容器化评测,和训练用的 RL 环境,可能越来越像。评测本想代理的是某种更难直接测量的能力;一旦这些代理任务或其邻近任务被拿去训练,测量就容易高估真正关心的那一侧。为了逼近这种「做成 RL 环境有多贵」,他们引入一个非常粗糙的代理量 Lifecycle Cost:自己把任务做成容器化环境,再跑并打分 100 次的成本。它不声称等于真实的 RL 成本,只试图给相对昂贵程度一个数字。

在控制了任务时长之后,Lifecycle Cost 更高的任务,模型表现更差。概述里的粗口径是:对给定时长的任务,Lifecycle Cost 翻一倍,带来的难度惩罚大致相当于把代理的时间视野减半。子集比较里,高成本子集平均约贵 2.9 倍,模型的时间视野大约差 2.9 倍,相当于 1.5 次翻倍。有意思的是,高成本子集上的表现,更接近 OpenAI 所报的内部研究使用——METR 说任务分布还太少,只把它当成「评测可能在方向上更接近真实研发任务」的一点鼓励,以及 Lifecycle Cost 或许抓住了某些让真实研究比部分评测更难的因素的弱证据。翻倍速度上,高低成本子集相近,高成本一侧甚至还略快一点。若认真把 Lifecycle Cost 当作「更真实」的代理,斜率异同会改写外推:若更贵的任务增长更慢,而且剧烈加速又恰好需要这类任务,naive 外推会把时间点推得更远;若斜率并无不同,则成本每翻一倍,只是把达到 50% 成功的时间推迟若干个月——在他们的数据里,大约是 4.6 个月。他们强调,自己并不知道剧烈加速真正需要的任务会贵多少,有可能比这套题里的典型任务再贵许多倍;相对成本的跨度也有限,更极端的任务上斜率完全可能不同。关联是否等于「更真实」,他们自己也说不准。

五、MCI 看不出公开前沿的整体加速,也不等于加速没有发生

如果 AI 研发已经被实质加快,即便能力剖面仍是锯齿状的,人们或许会期待在模型能力随时间的增长上,看到斜率变陡。时间视野给出的是快速进展。METR 并不确定「任务时长」是否是好的难度尺度,于是又用 MCI 来看同一批数据。MCI 是一个 IRT 模型,方法上接近 Epoch 的 ECI 与 Anthropic 的 AECI。

拟合结果是:在所测的公开前沿整体上,看不到明显的加速,也看不到明显的减速。他们把这写成:对「能力正在全面减速」构成中等证据,对「能力正在全面加速」构成弱到中等的反证。换成分开发商校准并拟合,某些条件下会出现斜率变化;在他们最能够复现的条件里——公开的 Anthropic 模型,直到 Opus 5.5——这些变化大体上可与 METR 2026 年 10 月那份针对 Anthropic 的独立研发加速评估、以及近期 Anthropic 系统卡中的叙述相比较。他们立刻加上:这些开发商专属的斜率变化对方法选择相当敏感,有效性存疑。

即便接受「整体斜率没有明显变陡」,也不等于可以宣布加速没有发生。METR 自己写了这种做法可能漏检的原因。开发商可能随着模型变强而推迟公开发布,公开前沿的时间轴就会显得更平;MCI 对最强模型的能力估计总是更不确定,这会推迟人们发现真正的加速;更根本的是,IRT 只能看到总体能力是否加速,看不到加速有多少是 AI 造成的——没有人知道,假如实验室不曾用 AI 辅助研究,反事实的趋势会是什么。完全可能出现另一种图景:若没有 AI,斜率本已在变缓,AI 的使用只是把趋势托到了现在这个位置。公开前沿看起来没有加速,和「AI 已经在加快 AI」可以同时为真。它们需要不同的证据。

这也是为什么本稿必须停在公开测量这一侧。同一机构在 11 月 5 日发布过针对 Anthropic 的驻场「AI 加速 AI」评估,结论已经公开,关键中间量则被 redact。那是另一条判断线:独立评估方被允许走进别人的实验室之后,公众究竟能核对多少。它不应当被并进这篇公开模型的季度更新里,本稿也不提前去写那条线的判断。11 月 16 日那则关于对齐评测 tells 的 Notes,同样是另一条裂缝,不在本篇展开。

现在能确定的,只有他们已经写下的部分。公开模型评到 Opus 5.5 与 GPT-6 Astra,编码和有强反馈的优化已经非常强,旧的可验证软件工程量表不再能把风险说低;时间视野仍约每 3.6 个月翻倍,但 2027 年 7 月那条 200 小时的线是 naive 外推,不是预测;MCI 在公开前沿整体上没有画出明显变陡的斜率,而测量本身——人类基线变少、评测可能越来越像训练环境——正在变难。METR 在讨论里还留了一句不该被省掉的话:剧烈加速的 AI 研发,也许可以主要经由容易验证的任务实现;在许多「更真实」的任务上看到好成绩之前,仍然有理由认真考虑这种前景。至少,实验室正在把大量力气花在让 AI 自动化自己的研究上。排除不了,不是已经到来。它只是说,现有的公开证据,还没有把这条路关掉。

flowchart TB
  ev["公开模型评到 Opus 5.5 与 GPT-6 Astra<br/>未含 GPT-6.2"] --> claim["判断:公开证据仍排除不了<br/>未来两三年的剧烈加速"]
  th["TH1.1 + TH2:约每 3.61 个月翻倍"] --> claim
  th --> naive["naive 外推:2027-07 / 200 小时<br/>须标成 naive,不是预测"]
  profile["编码与强反馈优化很强<br/>缺清晰反馈时判断偏弱"] --> claim
  mci["MCI:公开前沿整体<br/>看不到明显加速或减速"] --> gap["斜率还在 ≠ 加速已成全局斜率"]
  measure["TH1.1 已饱和 · 直接人类基线约 9%<br/>容器化评测可能像训练环境"] --> harder["测量本身在变难"]
  harder --> claim
  mci --> harder

参考

事实、出处或判断有误,欢迎 写信纠错或补充 。

返回目录