奥尔特曼领衔成立新安全委员会，OpenAI安全文化警报解除了吗？

OpenAI正在雄心勃勃地规划下一代人工智能（AI）软件，但原安全团队的解散和核心成员的集体“跳槽”也为这家AI“当红炸子鸡”企业敲响了安全警钟。

当地时间28日，OpenAI首席执行官奥特曼牵头成立了该公司全新的安全委员会，以监督该系统的后续开发。原安全团队离职带来的隐忧和安全文化警报解除了吗？

夏普9010c拆机

莱克指控OpenAI。

“龚都”的出现已经平息，但分歧尚未弥合？

去年7月，OpenAI成立了一个“超级比对”团队，其职能是确保这家公司开发的人工智能系统符合人类的利益和价值观。然而，在不到一年的时间里，该团队的两位领导人在本月相继离职，几位主要成员主动辞职或被解雇。OpenAI也在本月中旬彻底解散了该团队。

去年11月，奥特曼在一场所谓的“高层内讧”中被董事会解雇，仅仅几天后就回到了原来的岗位。这一剧烈变化的原因被认为是OpenAI内部对AI安全性的巨大分歧。

OpenAI联合创始人兼首席科学家伊利亚·苏茨基弗是“超级对齐”团队的领导者之一，也被视为奥特曼被解雇的始作俑者之一。与奥特曼对人工智能领域技术进步的乐观态度相比，苏兹克维尔要谨慎得多。他认为通用人工智能（AGI）的发展可能会“发生雪崩”，这将给人类社会带来不可控制的毁灭性风险。因此，第一批AGI的基本信念将是极其重要的，“它必须被正确地编程”。

在这次“高层内斗”之后，奥特曼照常带领OpenAI推进技术转化和成果发布。今年2月，OpenAI推出了支持文本转换为视频的模型“黑脸田鸡”，并于5月发布了新的旗舰模型GPT-4o，其速度是去年11月发布的GPT-4 Turbo的两倍，在视觉和音频理解方面也更先进。

当Sutzkeville在5月14日宣布辞职时，他还友好地表示OpenAI将在现任领导层的领导下“建设一个安全和有益的AGI”。

但是“超级结盟”小组的另一位负责人简·雷科就没那么客气了。当他在社交媒体平台上披露离职原因时，他表示，他和OpenAI高管在什么是“核心优先事项”上存在分歧，并且已经达到了不可挽回的临界点。步步高如何换主题

“我认为我们应该花更多的精力准备下一代模型，重点关注安全性、监控、准备、对抗性鲁棒性、（超级）对齐、保密性、社会影响等相关问题。这些问题非常难以解决，我担心我们没有走上实现这些目标的轨道。”Lake说，“在过去的几个月里，我们的团队遇到了阻力，有时会为计算能力而挣扎。完成这些关键研究变得越来越困难。”

莱克写道:“OpenAI必须成为一家安全优先的AGI公司。”几天后，莱克宣布他已加入OpenAI竞争对手Anthropic，领导一个新的“超级比对”团队。

Anthropic的首席执行官阿莫迪也出生于OpenAI。据报道，他带领多名前OpenAI员工成立了目前的公司，因为他无法认同后者日益商业化的发展方向。

除了上述两位重量级人物外，还有“超级结盟”团队成员威廉·桑德斯和丹尼尔·科科塔吉洛、负责外部沟通和社区建设的基尔帕特里克以及人工智能政策研究人员格雷琴·克鲁格和奥基夫。此外，超级结盟小组成员阿森布伦纳·帕维尔·伊兹迈洛夫因向媒体记者泄露信息而于4月被解雇。

Kokotello说，他对OpenAI是否“负责任地”发布具有越来越多功能的AI失去了信心。克鲁格还呼吁该公司提高责任感和透明度，并“谨慎使用自己的技术”。

安全文化和闪亮产品

当地时间28日，OpenAI成立了一个新的安全保障委员会，负责监督与公司项目和运营有关的关键安全决策。不过，OpenAI并没有选择外部观察员参与监督。这个委员会由公司内部人员组成，包括奥特曼和OpenAI董事会的几位成员。

OpenAI表示，该委员会将与OpenAI董事会的所有成员分享其调查结果和建议以供审查，届时，它将“以安全可靠的方式”宣布任何被采纳的建议的最新情况。

“OpenAI最近已经开始训练下一个前沿模型，我们预计最终的系统将使我们在通往AGI的道路上达到更高的能力水平。”OpenAI写道。

在去年11月的一次采访中，奥特曼说他花了大部分时间研究“如何建立超级智能”，但该公司负责全球事务的副总裁安娜·马坎朱和发言人利兹·布尔乔亚后来否认该公司的“任务”不是开发超级智能，而是通用人工智能（AGI）。与人类水平的AGI相比，超智能是指超越人类智能水平的人工智能系统。

OpenAI在官网和创始公告中明确指出，公司的使命是确保人工智能技术的发展是“安全和广泛有益的”。这意味着，一方面，AI技术必须安全；另一方面，AI技术带来的好处应该惠及所有人，而不仅仅是特定群体。

艾瑞斯曾在美国硅谷从事AI方向的创业，也曾在多家科技公司负责AI相关产品的开发，他对第一财经记者表示，OpenAI旗下企业的发展过程不可避免地带来了这种“安全文化”之争。

Iris表示，最早的OpenAI是作为非营利组织成立的，尤其是在模型开发阶段，更多的是基于技术创新。“这个时期的OpenAI非常强调安全性。因此，像苏茨克维尔这样有技术背景的创始人有很大的话语权。”她说，但随着技术的发展，到了产品市场匹配阶段，OpenAI开始考虑如何让这些技术惠及更多人。

Iris认为，在现阶段，“公司的发展将完全取决于产品和业务的商业化，这意味着需要更有效地将产品推向市场”。黑莓9800怎么安装软件

这可能就是为什么莱克在辞职声明中写道:“在过去的几年里，安全文化和流程被闪亮的产品所取代。”

值班编辑:高立山

未经允许不得转载：科技让生活更美好 » 奥尔特曼领衔成立新安全委员会，OpenAI安全文化警报解除了吗？