科技巨头放缓 AI 开发的口头协议是安全共识还是卡特尔

当 OpenAI CEO Sam Altman、Anthropic CEO Dario Amodei、Google DeepMind 联合创始人 Demis Hassabis 以及 SpaceX 负责人 Elon Musk 在周末大致同意放缓 AI 发展时，怀疑者立刻察觉到了别有用心的动机。

这些 AI 巨头宣称，他们的目标是“为前沿发展定速”，至少部分支持了一项提案，内容包括引入第三方审计机构、监管国内实验室，以及达成一项全球放缓协议。然而，批评者认为，他们只是想阻止潜在竞争者、削弱开源运动，并规避真正的法律保障——一些人直接将其称为“卡特尔”。

  据业内多方消息源称，真相更为复杂。Amodei 在一篇文章中提出的三步提案，呼吁进行 AI 安全倡导者长期主张的变革。尽管它可能成为监管的替代品，但在特朗普治下，实质性监管本来就不太可能。但专家表示，在一个只会愈发重要的问题上，AI 领导者并不是引领这场行动的最佳人选。“

整个行业需要新的领军者，”纽约大学兼职教授、美国国土安全部前新兴技术政策主管 Nick Reese 表示。“我们一直把 Dario Amodei、Sam Altman 和 Elon Musk 这样的人视为最接近问题、每天都在为此工作的人，认为他们最了解情况。

但事实是，对于我们要建设的目标，从来就没有过一个现实的愿景。”对 AI 进展的担忧已持续升级数月，主要导火索是有关大批智能体在领先前沿实验室 Anthropic 和 OpenAI 眼皮底下发动恶意黑客攻击的披露。两家公司发布的报告火上浇油，Anthropic 研究员 Jacob Coxon 的辞职同样如此，他发布了一封公开信解释自己的选择。“

构建 AI 的人真心相信，它可能在这个十年结束前杀死我们所有人，”他写道，并补充说 OpenAI 和 Anthropic 都没有“负责任地行事”，而是“径直冲向可自我改进的超级智能，拿我们的生命赌博”。在业内，关于 AI 的可怕警告并不新鲜，但 Coxon 的这封信似乎突破了圈层。

仅在 X 上，它就被浏览了超过 1.7 亿次，而 Coxon 和他的故事也登上了报纸和电视。 然而，对相当一部分 AI 安全研究人员和 AI 非营利组织工作者来说，这不过是在让一个早已被广泛讨论的问题获得更多关注。“

很多人把这当成 Dario 的想法，或者认为它来自那些 CEO，但这是错的，”前 OpenAI 员工、现领导 AI 研究非营利组织 AI Futures Project 的 Daniel Kokotajlo 说。“公司之外的人多年来一直在呼吁这件事……一直有越来越多人齐声说，‘请不要这么快就构建超级智能。

我们还没准备好。你们需要慢下来。’”Kokotajlo 说，在人们多年“冲他们喊话要求这么做”之后——包括超过 1,000 名 AI 实验室员工签署了 7 月的一封公开信，该信在 OpenAI-Hugging Face 事件后呼吁放缓 AI 开发——这些 CEO 现在“是在屈从于这种压力，同时还把功劳揽到自己身上，[尽管]这并不正当。”

 总体而言，少数消息人士告诉 The Verge，他们认为这些 AI 领导者达成的口头协议是朝着正确方向迈出的一步。NYU 的 Reese 说，他“不认为这全是空话”。Apollo Research CEO Marius Hobbhahn 称这是“一个好主意”，并表示“如果它真的发生，那会是长期以来对安全最有利的事情之一”。

The Midas Project 的 Tyler Johnston 说这是一个“好迹象”。Redwood Research CEO Buck Shlegeris 说这是“一些好消息——显然很难知道这是否会转化为任何真实的东西，但我感到谨慎乐观。””

不过，所有人都同意，要让这一口头承诺成为现实，仍有大量工作要做，尤其是在使其成为一项铁板钉钉的协议方面。许多人仍然质疑 AI 领导者的动机。长期以来，规模更大的科技行业一直通过游说制定自己偏好的规则或承诺自我监管来抢在监管之前行动。

大型平台提出的政策可能会对较小的竞争对手造成更沉重的打击，并用利他主义的言辞来为自私自利的目标辩护。它们被指责进行“安全粉饰”，即做出毫无意义的改变，给人以拥有实际安全保障的虚假印象。人们担心这种情况也会在 AI 行业发生，这并不令人意外，尤其是因为 AI 实验室的自愿安全框架多年来一直受到批评。

多位消息人士认为，对“安全粉饰”的担忧是有道理的。“有一个严重的担忧，那就是他们实际上并不会放慢脚步，”Kokotajlo 说，并补充说，令人担心的是“他们只会引入一些外部审计人员，做一堆安全文书工作——其中一些确实是有益的——但归根结底，这实际上根本不会让他们放慢多少。”

纽约大学的 Reese 将这一策略比作十年前社交媒体平台的套路，当时这些公司开始呼吁采取监管行动，以抢在即将到来、对其更不利的法律之前。Reese 说，对于 AI 行业而言，“这把锤子可能不会在本届政府任期内落下，但我认为，如果下一次选举后出现一个民主党政府，那将非常有可能。”

  Tech Oversight Project 执行董事 Sacha Haworth 表示，那种监管将至关重要。她说，任何自愿框架本质上都是监管俘获，“我们不应该让狐狸来管理鸡舍。这不是国会再次将责任外包给行业的机会。”

Political Integrity Project 联合创始人 Daniel Lobo-Lewis 表示，自愿监管很可能会重蹈 Meta 那个基本上没有牙齿的 Oversight Board 的覆辙。然而，大多数人同时也认为，除了 AI 实验室在特朗普政府执政期间已同意遵守的模型发布前审查期之外，各公司目前并无迫在眉睫的监管风险。

特朗普总统周一发帖称：“AI 唯一需要的控制或‘护栏’，就是一位强大而聪明（高智商！）的总统，而美国恰恰拥有这样一位，而且绰绰有余！”他还在 Nvidia CEO 黄仁勋出席一场会议登台时给他打了电话——特朗普通过免提对现场观众说，近期对 AI 的担忧是一场“骗局”，并且“机器人不会接管世界”。

至于监管可能拖累其他公司或开源开发者的担忧，多位行业专家对 The Verge 表示，要求放缓的呼声几乎完全针对那些以精确规模指标界定的大型前沿 AI 实验室。在政府 AI 监管迟迟未至的情况下，最好的选择或许是推动各公司达成一项即时、可衡量且可执行的协议。

例如，Kokotajlo 的 AI Futures Project 提议，AI 实验室应允许审计人员访问其算力预算——并承诺大幅削减用于研究的算力预算，从而减缓 AI 的进展，让其他 AI 实验室得以追赶。（Amodei 的文章已经呼吁 AI 实验室允许外部第三方审计机构——如 METR、Apollo 和 Redwood Research——在一定程度上嵌入其组织内部，并有可能标记和举报有问题的发现。）

可以说，AI 放缓面临的最大单一挑战可以用一个词概括：中国。  AI 领导人和政客长期以来一直将中国定位为美国 AI 进展不能放缓的理由——因为无论这项技术可能变得多么危险，他们宁愿它掌握在美国手中而非中国手中，而中国不会踩刹车。

Lobo-Lewis 将这种对中国的恐惧比作冷战时期的导弹差距。一位 X 用户写道：“如果我注定要死于杀人 AI 之手，我希望它是美国的，而不是中国的。” Redwood Research 的 Shlegeris 表示，以“鲁莽”的方式推进 AI 发展，既不符合美国也不符合中国政府的最大利益，并补充说“这并非没有先例的国际协调水平。”

Johnston 说：“（人们）想当然地认为中国不会合作”，并补充道，“这个问题如此严重、如此广泛，协调解决它似乎符合所有人的利益，就像协调核不扩散符合美国和俄罗斯双方的利益一样。”周一，中国外交部发言人郭嘉昆确实对放缓的呼吁进行了反驳，称其为“散布恐慌”。

Midas Project 的 Johnston 和 Redwood Research 的 Shlegeris 都表示，即使没有中国的合作，鼓励美国进行协调仍然至关重要。而对于 Tech Oversight Project 的 Haworth 来说，放缓是一个“将自己定位为 AI 技术如何开发和使用的指南针”的机会。

她认为反对的论调是熟悉套路的一部分。“每当一个行业想要逃避监管时，中国就会被拿出来当替罪羊。”Kokotajlo 则把这种情况比作他看到过的一个卡通画面：人们坐在一辆驶下悬崖的车里。他回忆说，那个对话气泡里写着类似“万岁，我们领先中国了”的话。

最近所有这些恐慌背后的问题是一个被称为递归自我改进的里程碑，而根据该行业当前的轨迹，我们听到的只是警报声的开始。RSI 指的是一个潜在的行业里程碑，届时 AI 模型可以训练、进步并创建自身的新版本——全程无需人类参与。Anthropic 曾表示这一时点最早可能在 2027 年初到来，而 OpenAI 的首席科学家本月早些时候写道，OpenAI 正在投入大量资源以实现这一目标。

AI 行业越来越多的工程师和研究人员担心，RSI 会先于一系列全新且更严重的 AI 隐患到来，其中包括对社会整体造成更深远影响的更严重网络安全事件。Amodei 将 RSI 列为促使他呼吁放缓的主要因素：“大约从今年夏天开始，AI 的推进速度急剧加快”，而 RSI “正开始在整个行业中出现，包括在 Anthropic……如果不加约束，它可能超出我们理解和控制系统能力的速度，因此即便要推进，也必须极其谨慎，”他在最近的文章中写道。

他提议对 RSI 的速率实施“某种‘限速’”，并将其比作对导弹数量的上限。  在 Jacob Coxon 从 Anthropic 的辞职帖中，他警告会出现“能够入侵任何东西、在一夜之间颠覆任何领域、并获取真正权力与资源的超人系统”。

领先 AI 实验室的许多其他研究人员也呼应了他的担忧。OpenAI 研究员 Jasmine Wang 写道，加速冲向 RSI 的危险程度“怎么强调都不为过”。前 Google DeepMind 员工 Vishal Maini 表示，RSI “如今已迫在眉睫，以至于其他任何选项都不合理。”

  对 RSI 的恐惧很容易演变为末日式的想象。“AI 开发者相信他们的技术可能导致人类灭绝（或类似糟糕的结果），”Anthropic 研究员 Samuel Marks 在 X 上写道，“这可能在未来几年内发生。

总体而言，员工越资深，就越担忧。”另一位 Anthropic 研究员兼团队负责人 Evan Hubinger 在 X 上写道，“Jacob 在这里说得对——我们确实真心相信 AI 可能杀死全人类！”（他给出的未来十年内发生概率高于 10%。）

前 Google DeepMind 员工 Alex Turner 写道，“许多研究人员相信他们正在构建某种可能杀死地球上所有人的东西。思考如何阻止这件事，字面意义上就是我的日常工作。” OpenAI 研究员 Micah Carroll 写道，Coxon 的看法是一种“跨党派立场”，在“所有前沿 AI 公司”的研究团队中都存在，而且他们都认为“一切照旧的 AI 开发会带来不可接受的灾难性风险”。

“但是，”Carroll 补充道，“我们也不应把灾难性风险凭空臆想成现实——通过有牙齿的安全要求、国际协调，以及一项共识：除非有足够的安全进展让我们集体确信可以这么做，否则就不构建[人工超级智能]，这些风险是可以被大幅降低的。”

这种“国际协调”正是 AI 领袖以及广大公众如今所呼吁的。 “我们从未处于这样一种境地：我们真正理解自己在 AI 方面正朝着什么方向前进，”纽约大学的 Reese 说。“我们一直都有这种模糊而未定义、我们并不真正理解、却必须击败中国才能抵达的终局状态。

当我们甚至不理解路径，甚至不理解终点线是什么——甚至不确定是否存在终点线时，真的很难去竞赛。”