研究安全性受质疑，新安全与保障委员会能否带领走向 AGI？

开始训练下一个前沿模型了。

在联合创始人、首席科学家 Ilya 官宣离职、超级对齐团队被解散之后， 研究的安全性一直备受质疑。

现在， 董事会宣布成立新的安全与保障委员会，由董事 Bret （董事会主席）、Adam D’、 和山姆・奥特曼（首席执行官）领导。该委员会负责就 项目和运营的关键安全决策向全体董事会提出建议。

同时， 还宣布最近开始训练其下一个前沿模型，并预计最终的系统将使 在通向 AGI 的道路上达到新的能力水平。

安全与保障委员会的首要任务是在未来 90 天内评估并进一步发展 的开发流程和保障措施。这 90 天结束时，安全与保障委员会将与全体董事会分享他们的建议。经过董事会的全面审查后， 将以符合安全保障的方式公开分享已采纳建议的最新情况。

技术和策略专家 Madry、 Weng、John 、Matt 和 Jakub 也是安全与保障委员会成员。

此外， 还将咨询其他 AI 安全研究者和技术专家来支持其安全与保障工作。

安全问题积重难返

就在 准备重拾安全与保障工作时，前董事会成员 Helen Toner 在一档播客节目中谈及奥特曼的解雇风波。令人意外的是，Helen Toner 表示前董事会是在 上获悉 的发布。

2023 年 11 月 的「宫斗风波」令人印象深刻，董事会突然罢免了 联合创始人兼首席执行官奥特曼，此举震惊了所有人。

当时到底发生了什么？Helen Toner 在 TED AI Show 播客的采访中，从她的角度讲述了导致董事会成员不再信任奥特曼的原因，以及奥特曼最终如何重回 。

据 Helen Toner 所述：「当前董事会决定聘请新的 CEO 后，他们觉得唯一的办法就是背着奥特曼做这件事。因为所有人都很清楚，只要奥特曼察觉到董事会可能会做出不利于他的事情，他就会不遗余力，竭尽全力破坏董事会解雇他的计划。」

董事会不再信任奥特曼的一个原因是他没有告诉董事会他拥有 创业基金；另一个原因是他在多个场合提供了有关公司安全流程的不准确信息。

此外，在「宫斗事件」之前，奥特曼曾与 Toner 发生过冲突，Toner 与其他研究者合作撰写了一篇关于人工智能安全的论文，论文批评了 掀起的「AI 军备竞赛」，这篇文章激怒了奥特曼，他认为损害了公司利益。随后，奥特曼开始私下联系其他董事会成员，试图说服他们解雇 Toner。

在两名高管直接向董事会讲述了他们与奥特曼打交道的经历后，他们描述 的氛围恶劣，指责奥特曼「心理虐待」，并提供了奥特曼「在不同情况下撒谎和操控」的证据，董事会终于采取了行动。

最值得注意的是，Toner 以 的推出为例，说明前董事会对公司没有真正的监督。

「当 于 2022 年 11 月推出时，董事会没有提前得到通知。我们在 上了解到 」，Toner 说道。这听起来非常不合理，甚至有些荒谬。

这或许是前任董事会与 管理层，特别是奥特曼的矛盾冲突所在。而奥特曼重回 后，不仅恢复了首席执行官的职务， 的董事会也进行了重组。

现任董事会主席 Bret 迅速就 Toner 在播客中讲述的事情做出了回应：

我们对 Toner 女士重新审视这些问题感到失望。董事会的一个独立委员会与 Hale 律师事务所合作，对 2023 年 11 月份的事件进行了广泛的审查。审查得出的结论是，前任董事会的决定并非基于对产品安全保障、开发速度、 的财务或其向投资者、客户或业务合作伙伴的声明的担忧。此外，超过 95% 的员工（包括高级领导层）要求恢复 Sam 的首席执行官职务并要求前任董事会辞职。我们的重点仍然是继续前进并追求 的使命，以确保 AGI 造福全人类。

显然，现任董事会认可支持奥特曼的工作。并且在新成立的安全与保障委员会中，奥特曼仍然处于领导位置。

前安全负责人加入竞争对手

当大家在把目光聚焦到 新成立的安全团队时，曾经领导过 超级对齐团队的共同领导者 Jan Leike 宣布正式加入 竞争对手 ，继续从事超级对齐研究。新团队将致力于可扩展监督、从弱到强的泛化以及自动化校准的研究。

超级对齐团队成立于 2023 年，由 联合创始人 Ilya 与 Leike 共同领导，该团队的任务是确保人工智能与其制造者的目标保持一致，而不是做出不可预测的行为并伤害人类。

今年 5 月 14 日， Ilya 发推宣告离职。与 Ilya 同步宣布离开的还有 Leike。随着两位高管离职， 的超级对齐团队已被解散。

Leike 在 X 的一条帖子中解释了他辞去超级对齐团队联合领导职务的原因。他写道：「相当长一段时间以来，我一直与 领导层关于公司核心优先事项的观点存在分歧，直到我们最终达到了临界点。」

Leike 曾经解释过他加入 的原因，他认为 将是世界上进行 AI 安全研究的最佳场所，但他长期以来一直与 领导层就公司的核心优先事项意见不一，直到最终走到了临界点。Leike 认为 在追求通用人工智能 (AGI) 时应该优先考虑安全性。

此外， 并未履行去年 7 月宣布的对超级对齐团队的承诺。据《财富》杂志援引知情人士的话报道，该团队对 GPU 的使用请求一再被拒绝，而且从未接近获得其承诺的 20% 计算能力预算。

在离开 后的一篇帖子中，Leike 表示：「离开这份工作是我做过的最困难的事情之一，因为我们迫切需要弄清楚如何引导和控制比我们聪明得多的人工智能系统。」这可能就是 Leike 在短时间内选择加入 的原因。

自 于 2022 年底推出 以来，人工智能安全在整个科技领域迅速受到重视，并引发了生成式人工智能产品和投资的热潮。一些业内人士表示担心，公司在没有充分考虑潜在社会危害的情况下，过快向公众发布强大的人工智能产品会不会产生巨大的危害。对于这一问题，还没有统一的答案。但 AI 安全向何处去，值得每一个人认真审视。

参考链接：