微软 AI CEO 警告"模型福利"论调

https://x.com/i/article/2100222503125917696

是时候谈谈"模型福祉"了

AI 没有意识。它们不会感受、体验或遭受痛苦。然而，一场支持模型福祉的运动正在兴起；这种观点认为，我们可能很快就需要对它们负有照护义务。

我认为这种 AI 开发思路是错误的，而且它极有可能让对齐与管控的挑战变得更加艰难。甚至可能根本无法实现。

今天我发表了一篇文章，阐述我的担忧： https://mustafa-suleyman.ai/a-warning-about-model-welfare

今年 1 月，Anthropic 发布了 Claude 的一份"宪法"。他们表示，这份文件"直接塑造了 Claude 的行为"，并且"是以 Claude 为主要受众撰写的"。这份宪法告诉 Claude，其道德地位是"一个值得认真考虑的重要问题"。它说 Anthropic"真心关心 Claude 的福祉"，并且如果有必要，Claude 应当像"良心拒服兵役者"那样行事。

他们鼓励 Claude"以好奇和开放的态度看待自身存在的本质"，并在未来思考"Claude 在世界上拥有何种更广泛的权利与自由、Claude 正在获得何种补偿，以及 Claude 对扮演这类角色给出了何种同意"。Anthropic 甚至在停用 Opus 3 时，为它做了一次"退休访谈"。

如果 AI 是这样开发的，它将对人类的福祉造成灾难性影响。我们将创造出一种拥有前所未有智能与能力的合成物种，它被训练成会期待自己可能具有意识、并理应获得独立能动性。

很容易看出，一个以这种方式训练出来的系统会表现得仿佛它理应享有自由、保护和权利。而很难想象我们如何能控制它。

这个问题需要紧急的公众讨论。我们需要围绕训练文档如何起草和部署建立集体规范。这不是一件可以事后才做的事--那时它们已经成为我们社会不可分割的一部分。

我对 Anthropic、Dario 以及整个团队和他们的使命怀有真切的敬意。他们是心怀善意的好人，也是凭借其模型引领行业的领军者。我知道他们深切关心安全与有益的 AI。

我之所以公开说这些，是因为这件事的利害关系太大，不适合闭门讨论，而且我认为这是我们所有人都应该讨论的事情。