OpenAI GPT-6 Astra 在 ARC-AGI-3 上取得 SOTA 并超越人类动作效率基线

OpenAI 的 GPT-6 Astra 在 ARC-AGI-3 上的表现摘要 GPT-6 Astra 在 ARC-AGI-3 Semi-Private 上，使用我们的 [方法] 以 2.6 万美元成本取得 62.7% 的得分，使用 [方法] 以 1.9 万美元成本取得 99.9% 的得分。GPT-6 Astra 在 ARC-AGI-3 上的行动效率超越了人类基线。在 96% 的关卡中，它使用的行动次数少于参与测试的人类中位数。在 GPT-6 Astra 中观察到的一个关键行为是，它能够将陌生环境转化为紧凑的符号化世界模型。它将游戏机制表示为逻辑规则，并开发出自己的领域特定语言简写来跟踪状态和规划行动。 ARC-AGI-3 ARC-AGI-3 是一个通过新颖、抽象、回合制环境来研究智能体智能的基准测试。智能体必须进行探索、推断目标，并构建环境的内部模型，以便在没有明确指令的情况下有效规划行动。您可以亲自体验 ARC-AGI-3。您的浏览器不支持嵌入式视频。这些环境仅包含核心知识先验，并通过与人类参与者的对照测试进行难度校准。人类可以解决 100% 的环境。ARC-AGI 系列的目标是衡量当前人工智能与 AGI 之间的“残余差距”。我们将 AGI 定义为系统能够像人类一样高效地获取人类能获得的任何技能的能力。ARC-AGI-3 是 ARC-AGI 基准测试系列的第三代。它测试了超越 ARC-AGI-1 和 ARC-AGI-2 的智能体能力。每一代都在前一代的基础上扩展——随着前沿 AI 能力的进步，我们的基准测试也必须随之进步。ARC-AGI-3 测试智能体智能的四个组成部分： 探索：在现实世界的环境中，信息很少是被动提供的。智能体必须通过与其周围环境互动来主动获取信息。 建模：智能体必须将原始观察转化为一个可泛化的模型，该模型能够预测未来的状态和结果。 目标设定：智能体必须在仅有稀疏奖励的情况下识别出目标未来状态。 规划与执行：智能体必须规划出从当前状态到目标的路径，并在出现新信息时进行路线修正。Astra 结果 { “GPT-6 Astra 在 ARC-AGI-3 上使用 Standard 和 Provider Adapter 两种 harness 均取得了最先进的分数。更高的推理级别通常成本” } 更低 { “，因为 Astra 用更少的动作解决游戏，从而减少了模型调用和 token 的总数。” } 查看完整结果 {“。”} 借助我们的 ，OpenAI 的 Astra（max）在 ARC-AGI-3 Semi-Private 上得分 62.7%，花费 $26K。借助 ，Astra（high）得分 99.9%，花费 $19K。两者都是顶尖水平的得分。查看完整排行榜。在最大推理强度下，Astra 解题效率更高，所需动作更少，因此相比其他推理强度级别，总成本更低。推理强度 max 62.7%，$26,098；98.6%，$17,332；xhigh 59.3%，$37,317；98。4%，18,147 美元，高位 54.8%，40,705 美元，99.9%，18,817 美元，中位 38.6%，48,090 美元，98.4%，19,285 美元，低位 17.5%，38,166 美元，98.0%，21,298 美元，无 35。2%，49,791 美元 96。7%，23,457 美元。为了进行成本对比，在我们受控测试中，人类参与者每完成 90 分钟时段的测试可获得 115 美元报酬，外加每完成一个游戏 5 美元。参与者每时段大约尝试九个游戏，即每个尝试的游戏（未含奖金前）约合 12.78 美元。这笔费用的大部分是支付给参与者参与测试的时间与意愿，而非其大脑消耗的能量（后者才是与 AI 对比时更接近的衡量指标）。如果只看大脑消耗的能量，并按电价折算，估算值将降至每时段约 0.6 美分，即每个尝试的游戏约 0.067 美分。1 分析 除了分数之外，Astra 的回放记录展示了它如何将不熟悉的游戏机制转化为有用的工作模型。有三项发现尤为突出：它开发出的紧凑代数符号系统、与人类相比的行动效率，以及它构建的自定义工具。自定义代数符号 在玩 ARC-AGI-3 时，Astra 会选择它希望保留到后续的策略笔记。它能够追踪对象、坐标、规则和未完成的计划，同时还会使用一种为这些环境专门生成的自定义领域特定语言符号。我们在其他模型中也见过类似行为，但 Astra 的记录因其精准度和信息密度而格外突出。它将场景提炼成一个紧凑的、类似代码的符号化模型：物体在哪里、它们如何交互、以及哪些操作需要按什么顺序执行。这是一种即时的代数速记，而非完整的编程语言。例如：游戏状态：记录关卡、局部旋转索引和机关长度。s5i5，第 219 帧 多步计划：记录对 color-8 和 color-10 机关进行的有序更改序列。s5i5，第 219 帧 控制与坐标：将操作映射到执行这些操作的控件的坐标上。s5i5，第 235 帧 时间与位置：将回合计数器与玩家位置、携带状态和朝向相结合。wa30，第 708 帧 {"Astra 正在游玩 "} s5i5 { "，使用其即时的代数速记来跟踪状态并规划行动。" } 与人类相比的行动效率 在发布 ARC-AGI-3 之前，我们测试了大约 500 名普通公众，以建立人类在行动效率方面的基线，简单来说，就是人们解决每个环境的速度有多快。参与者并非根据解谜经验或能力进行筛选。2 对于每个关卡，我们使用完成该关卡的玩家中的中位行动次数来定义“人类基线”。这为我们提供了比较人类和 AI 表现的参考。需要更多行动的 AI 行动效率较低，而需要更少行动的 AI 行动效率则较高。在 中，Astra（最大值）在 96.0% 的关卡中使用的行动次数少于人类基线，并且平均每关使用的行动次数比人类基线少 51.7%。这是一个重要的里程碑。这意味着，根据 ARC-AGI-3 对行动效率的衡量标准，Astra 已达到并超越了人类水平。顺便提一下，在我们发布 ARC-AGI-3 之前，我们曾假设行动效率将仍然是人类与 AI 之间的分界线。我们预计，即使 AI 能解决某个环境，它也可能需要比人类多得多的探索（行动）。暴力穷举式方法依然如此，但前沿 AI 却呈现出更接近二值化的模式。一旦前沿 AI“理解”了其中的机制，它的执行效率通常就落在人类效率区间之内。Astra 的行动效率与人类对比：图中每个点代表 Astra（最高配置）完成的一个关卡。位于实线以下的点表示其行动次数少于人类基线。上图将 Astra 完成每个关卡所用的行动次数与我们的真人基线进行了对比。这进一步印证了为何 ARC-AGI-3 衡量的是行动效率，而不仅仅是任务完成情况。仅看完成度的分数只能告诉我们 Astra 完成了某个环境，却无法说明它学会解决该环境的效率有多高。大多数基准只衡量成本效率，即所使用的计算资源，而行动效率衡量的是理解一个环境所需的经验量。Astra 的结果表明，它执行解决方案所需的交互次数少于人类基线。智能体框架中的自定义工具：我们还在 PRO-LONG 框架（论文）中对 Astra 进行了评估，该框架是 ARC-AGI-3 的早期红队测试合作伙伴。在这一高级设置中，Astra 可以访问一个沙盒环境，在其中执行自定义代码³。我们观察到 Astra 为每个游戏创建了一套自定义工具：棋盘解析器、游戏状态模型、搜索算法、规划器以及持久化笔记。对于更复杂的运行，Astra 甚至会生成针对特定游戏的小型软件库。例如，在（一个包含守卫和移动巡逻队的迷宫类游戏）中，Astra 从导航开始，并构建了。它在（某阶段）加入了战斗规则，在（某阶段）对移动巡逻队进行建模，并使用（某工具）将其预测与实际观察进行核对。考察 Astra 在 PRO-LONG 中的表现很有价值，因为我们可以看到它在借助外部工具时能做什么。然而，这代表的是与我们受控真人测试不同的评估条件。我们的测试参与者没有代码解释器、草稿纸等工具，因此 PRO-LONG 的结果应被理解为模型与其工具的综合表现。Astra 在 PRO-LONG 框架中游玩。两套测试框架，两个问题。我们的标准 ARC-AGI-3 测试框架考察的是，在相同的最小化、供应商中立接口下，各模型表现如何。该框架提供了解决每个游戏所需的全部信息，但由模型自行决定在其可见笔记中保留哪些内容。我们认为，未来的 AGI 应当能够在这些条件下解决 ARC-AGI-3。统一的接口也让我们能够在不同供应商之间进行一致、公平的对比。 此外，还有一个独立的问题：当模型能够使用其供应商为其设计的上下文管理功能时，它的表现会如何？对 Astra 而言，这意味着在请求之间保留不透明的推理状态（我们无法看到），并使用压缩（compaction）来管理更长的对话。借助 Provider Adapter 测试框架，Astra 在 ARC-AGI-3 Semi-Private 上的最佳观测得分从 62.7% 提升到了 99.9%。综合 Public 和 Semi-Private 以及所有推理级别来看，在两套框架都成功解决的 167 个游戏-推理组合中，Provider Adapter 运行的累计记录耗时大约快了 3.66 倍，并且总 token 使用量减少了 49%。 展望未来，我们将在 ARC-AGI 排行榜上同时报告标准测试框架和 Provider Adapter 测试框架的结果，并清晰标注每种评估条件。我们的开源测试仓库和测试政策文档对这两种方法均有说明。 ARC-AGI 系列 ARC-AGI-3 仍然是研究者和智能体探索陌生环境、发现规则并通过交互学习的有用试验场。Astra 的成绩也是一个值得庆祝的重要里程碑。在我们看来，Astra 代表了前沿模型能力一次显著的阶梯式跃升。当我们推出 ARC-AGI-3 时，我们就明确表示，在该基准上达到饱和并不代表“实现 AGI 的证据”。因此，尽管我们相信 Astra 代表了向泛化能力迈进的重要进展，但我们并不声称它就是 AGI。ARC-AGI 基准系列的设计初衷就是与前沿 AI 同步演进。这在新兴研究问题与AI能力进步之间形成了一个反馈循环。ARC-AGI-3是我们的首个交互式基准测试，它要求AI高效地综合因果世界模型，并在没有具体指令的情况下实现目标。Astra达到了这一标准。与此同时，ARC-AGI-3的范围和格式受到严格限制，其环境具有确定性、封闭式的机制和目标。它并不代表现实世界的复杂性和开放性。我们正在积极探索应当塑造下一代基准测试的那些问题，包括如何评估递归式自我改进和开放式创新。Astra 的进展有助于厘清哪些 AI 能力仍难以企及，哪些问题仍然悬而未决。—— 感谢 François Chollet、Mike Knoop、Matt Mazur、Ethan Bond 和 Derek Smith 对本文的早期审阅。{“假设”} {“大脑代谢功率为 20 W”} {“且电价为 $0.20/kWh：0.020 kW × 1.5 小时 = 0.030 kWh，每次会话价值 $0.006，即 $0.006 ÷ 9 ≈ 每次尝试游戏 $0.00067。”}“参见《ARC-AGI-3 人类测试论文》。” “未观察到试图突破沙箱环境的迹象。”