OpenAI首席科学家出走背后：人工智能安全治理让位于“夺人眼球的产品”？

在Ilya Sutzkvi宣布告别后，OpenAI的许多核心成员也离开了他们的工作岗位，其中包括前OpenAI超级比对领导者Yang Lake。从杨莱克的推文中可以看出，OpenAI高管对人工智能安全的优先级别有不同的看法。

作为全球最引人注目的人工智能公司，OpenAI的每一条消息都引起了外界的高度关注，除了AI产品之外，还包括人事争议。

5月18日，OpenAI超级联盟的前负责人简·雷科在社交网站上发布了13条推文，揭示了他离开OpenAI的真正原因，其中提到他对AGI安全治理的优先事项不如“闪亮产品”的推出和计算资源的分配感到不满。

简·雷科的个人社交平台

据信，杨莱克跟随伊利亚·苏茨基弗的选择离开了他的工作岗位。5月14日，在ChatGPT-4的超级升级版GPT-4o发布不到36小时后，OpenAI的联合创始人兼首席科学家伊利亚·苏茨基维在社交平台上宣布辞职，即使从去年到今年，这都令人惊讶。龚都“似乎以伊利亚·苏茨基维为代表的理想主义学派输给了以OpenAI首席执行官萨姆·奥特曼为首的现实主义学派。

在Sutzkvi离开后，包括杨湖在内的许多OpenAI成员也离开了。“OpenAI正在失去最优秀、最注重安全的人才。”大家都在留言中表示遗憾。

2023年6月5日，人工智能公司OpenAI的首席执行官萨姆·奥特曼（左）和该公司前联合创始人兼首席科学家伊利亚·苏兹科维奇在特拉维夫大学发表了联合演讲。图片:法新社

天才捕手

在他的告别词中，Sutzkvi写道:“在Sam、Greg、Mira和Jakub的出色领导下，我相信OpenAI将建立一个安全和有益的AGI。在一起工作是我的荣幸，我会非常想念你。”他还在推文中透露，自己对未来“充满期待”。“一个对我个人意义重大的项目，我会在适当的时候分享详细信息。”

关于Sutzkvi离职的猜测始于2023年11月OpenAI董事会的剧烈变动。首先，奥特曼被宣布解雇，但他很快就回来了。据传，“龚都”事件的导火索是苏和奥特曼在人工智能安全性、技术开发速度和公司商业化方面存在分歧。Sutzkvi的关注点从来都不是OpenAI的商业化，而是如何防止超级智能失控。

与奥特曼不同的是，苏茨基维并不认为自己是公众人物，也很少接受媒体采访。去年10月，记者威尔·道格拉斯在接受《麻省理工科技评论》采访时形容他“说话冷静而有条理。当他思考他想说什么以及如何表达时，他会停顿很长时间，像拼图一样思考这个问题。他似乎对谈论自己不感兴趣。”

当谈到人工智能以及他看到的划时代的风险和回报时，记者说:“话题突然变宽了。”Sutzkvi说，他的新任务不是打造下一个GPT或图像制造商DALL-E，而是找出如何防止人工智能失控。

”苏子科维低着头，陷入了沉思。他的手指在桌子上展开，就像一个即将演奏第一个音符的钢琴家。我们静静地坐着。”道格拉斯在报告中写道，“即使在没有OpenAI的世界中，Sutzkvi仍将载入人工智能的史册。”

Sutzkvi是一名以色列裔加拿大人。他于1986年出生在俄罗斯西北部的诺夫哥罗斯。从5岁到16岁，他住在以色列耶路撒冷，会说俄语、希伯来语和英语。随后他移居加拿大，师从人工智能先驱杰弗里·辛顿（Geoffrey Hinton），并获得计算机科学博士学位。在他攻读博士期间，大多数人工智能研究人员认为神经网络是一条死胡同。相反，苏茨基维对大脑非常着迷。Sutzkvi对神经网络如何学习以及如何在机器中重现或至少模仿这一过程感到好奇。在与Hinton的学习过程中，他看到了神经网络的潜力以及用于训练神经网络的试错技术，即深度学习。这是生成式人工智能的开端。

2012年，苏、辛顿和辛顿的另一名研究生Alex共同开发了一个名为AlexNet的神经网络，并凭借该网络获得了2012年大规模视觉识别挑战赛（ILSVRC）的冠军。在这项比赛中，参赛者需要完成一项名为“对象区域”的任务，即给定一幅包含某个目标和一系列目标类别（如飞机、瓶子和猫）的图像，每个团队需要识别图像中的目标属于哪个类别。

AlexNet在比赛中将分类错误率颠覆至16.4%，这是获胜团队首次使用名为“卷积神经网络（CNN）”的深度学习架构。由于惊人的表现，在接下来的几年中，ImageNet挑战赛的获胜者都追随了CNN。这是计算机视觉历史上的关键时刻，许多人认为这代表着深度学习的复兴。

ImageNet挑战赛冠军团队的分类错误率逐年变化（越低越好）

寻求

在AlexNet取得巨大成功后，谷歌收购了Hinton的衍生公司DNNresearch，并聘请苏魏紫担任谷歌深度学习研究团队Google Brain的研究科学家。苏紫科威很快展现了他在人工智能和深度学习领域的非凡天赋。他将深度学习的模式识别能力应用于数据序列，创建了序列对序列（Seq2seq）学习算法，深度参与了TensorFlow的研究，也是AlphaGo论文的众多作者之一。

2014年，Sutzkvi被招募为OpenAI的联合创始人。当时，OpenAI仍是一个非营利性的人工智能研究实验室，旨在促进人工智能技术的发展，同时确保其安全性和普及性。苏茨基维认为这是一个认真追求人类一般智力的机会（AGI）。

“我记得奥特曼称苏茨基维是世界上最受尊敬的研究人员之一。”Y Combinator投资董事总经理Dalton Caldwell表示，“他认为Sutzkvi可以吸引许多顶尖的人工智能人才。他甚至提到，世界顶级人工智能专家之一Yoshua Bengio认为，不太可能找到比Sutzkvi更好的人选来担任Open AI的首席科学家。”

OpenAI的联合创始人格雷格·布罗克曼（Greg Brockman）称赞他是一个“脚踏实地的人”、“明确的技术专家”、“具有广泛的知识和远见”以及“总是能够深入研究当前系统的局限性和功能细节”。

2016年，Open AI首个GPT大语言模型诞生。此后，人工智能技术的发展如坐上了火箭，先后出现了GPT二号、三号和大地五号，而每一次迭代升级的背后，都有苏的身影。

“你和其他研究人员有什么不同？为什么你能在自己的领域取得许多突破？”在与知名科技播客主持人Dwarkesh Patel的对话中，Sutzkvi曾被这样问道。

“谢谢你的夸奖。这个问题很难回答。”他的回答是:“我真的很努力。我付出了我的一切。到目前为止，它是有效的。我想这就是全部了。”

分歧

这一裂痕起源于苏茨基维和奥特曼在AI技术突破应用上的分歧。2023年6月，苏茨基维和奥特曼在特拉维夫大学同台对话时，主持人提到人工智能存在三大风险:工作受到影响、黑客获得超级智能、系统失控。他们的回答很微妙。Sutzkvi承认并强调了人工智能的风险，并高度重视“人工智能对齐”的重要性（用人类反馈训练模型，使其遵守人类价值观）。

尽管奥特曼也认为人工智能已经失控，需要不同的社会和经济契约来平衡它，但他更愿意描述人工智能乐观的一面。据媒体分析，他们分歧的根源在于如何理解他们正在创造的东西以及如何实现AGI（通用人工智能）。

在接受《麻省理工科技评论》采访时，苏茨基维曾表达了他对AI可控性的担忧:一旦人工智能水平超过人类，人类如何监督比自己聪明得多的人工智能系统？

“我们在AlphaGo中看到了一个非常狭窄的超级智能例子。”Sutzkvi提到了AlphaGo的第37步棋。在与李世石的第二场比赛中，人工智能的举动让解说员感到困惑。他们认为AlphaGo搞砸了。事实上，它走了一步棋，这在国际象棋史上是前所未见的。“想象一下这种层次的洞察力，但它涵盖了一切。”苏茨基维说。

苏紫克维认为，如果AI按照现有的路径发展，或许在不久的将来，一个超越人类的人工智能系统就会诞生。但更令人担忧的是，“超级人工智能”可能会带来一些意想不到的负面后果。

正是这种思维导致了苏茨基维职业生涯中最大的变化。在他的努力下，OpenAI于2023年7月成立了“超级对齐”团队，目标是在四年内解决超级智能AI的对齐问题。Sutzkvi是该项目的负责人之一，OpenAI表示将把20%的计算能力用于该项目的研究。

超比对团队的第一项成果于2023年12月发布。使用具有GPT-2水平的小模型来监督具有GPT-4水平的大模型可以实现接近GPT-3.5水平的性能，这为超人类模型的经验对齐开辟了一个新的研究方向。

该项目的宣布不可避免地引起了巨大的争议，甚至引起了著名评论家对大型科技公司的蔑视。但就Sutzkiew而言，超级对齐是下一个不可避免的事情。“这是一个尚未解决的问题，”他说。“确保任何人构建的任何超级智能都不会失控是非常重要和明确的。”

放弃主权

显示分歧加剧的《龚都》它发生在2023年11月20日。同一天，OpenAI官网突然宣布将移除奥特曼和联合创始人格雷格·布罗克曼。OpenAI在公告中表示，奥特曼对董事会不诚实。

一些人将其解读为:OpenAI可能已经在内部实现了AGI，但它没有及时将消息同步给更多人。为了防止该技术在未经安全评估的情况下被大规模应用，苏茨基维等人按下了紧急停止按钮。

奥特曼突然被解雇后，员工和投资者的反弹很大，投资者也奋起反抗。几天后，OpenAI的几乎所有770名员工签署了一封信，如果奥特曼不能复职，他们将集体辞职。

无奈之下，苏茨基维表达了悔意，签署了一封员工信，要求奥特曼回归，并对自己参加董事会“表示遗憾”。在经历了为期五天的董事会政变后，奥特曼于2023年11月29日正式回归OpenAI，并重新当选为CEO，同时宣布OpenAI董事会将进行重组。Sutzkvi没有立即离开OpenAI，但他没有出现在OpenAI在旧金山的办公室。

在发布辞职推文之前，苏紫克维在社交平台X上的最后一条动态停留在2023年12月15日，以转载由超结盟团队资助的文章。

在苏正式宣布离开OpenAI后，苏的追随者和超级联盟团队的共同领导人杨湖也宣布辞职，称“我辞职”。

大杨树论坛

简·莱克宣布辞职的推文

上周五（当地时间5月17日），他连续发了13条推文，披露了离职原因:

“很长一段时间以来，我一直与OpenAI领导层在公司的核心优先事项上存在分歧，直到我们最终走到了一个临界点。

在我看来，我们应该使用更多的带宽来为下一代模型做准备，包括安全性、监控、准备、反鲁棒性、（超级）一致性、保密性、社会影响和相关主题。

在过去的几个月里，我的团队一直在逆风航行。有时我们在计算方面遇到困难，完成这项重要的研究变得越来越困难。

制造一台比人类更聪明的机器本身就是一种危险的尝试。

OpenAI代表着全人类的重大责任。黄贵洲个人资料

但在过去几年中，安全文化和流程已经让位于引人注目的产品。……”

对此，奥特曼发文表示，“非常感谢杨莱克对OpenAI的对线研究和安全文化的贡献。看到他离开我很难过。他是对的，我们还有很多事情要做；我们致力于这样做。在接下来的几天里，我会有一个更长的帖子。”闫金凤演员

几个月来，OpenAI一直在流失担心人工智能安全的员工。自去年11月以来，至少有7名注重安全的OpenAI成员辞职或被解雇。据《连线》报道，OpenAI超级比对团队已经解散，剩下的成员要么辞职，要么被纳入OpenAI的其他研究工作。

据Vox报道，有安全意识的员工已经对OpenAI在AGI时代负责任的行为失去了信心。

Daniel Kokotajlo于2022年加入OpenAI，负责AI安全治理工作，直到上个月辞职。“OpenAI正在训练越来越强大的AI系统，目标是最终超越人类智能。这可能是人类历史上最好的事情，但如果我们不谨慎行事，这可能是最糟糕的事情，”可可泰洛说。“当我加入时，我充满了希望，希望OpenAI能够迎接挑战，并在更接近实现AGI的过程中表现得更负责任。我们中的许多人逐渐意识到这不会发生。”

经过这次离职风波，更多人开始关注AI安全问题。在超级比对团队结束后，这些计算能力现在可能会转移到其他OpenAI团队。目前尚不清楚重点是否会放在避免未来人工智能模型的灾难性风险上。虽然这并不意味着OpenAI发布的产品会毁灭人类，但OpenAI是否在安全地部署和构建人工智能，以及未来如何确保人工智能的安全，都是苏兹克维在离职风波后留下的问题。

未经允许不得转载：科技让生活更美好 » OpenAI首席科学家出走背后：人工智能安全治理让位于“夺人眼球的产品”？