“安全保卫”团队集体“出逃”后,OpenAI宫斗剧结束了吗?|科技观察

来源:封面新闻

封面新闻记者边雪

在GPT-4o还在让AI界惊呼的时候,OpenAI多名核心成员的离职引起了极大的关注。当地时间5月17日,OpenAI super alignment前负责人扬·雷科(Jan Schmidt)宣布辞职。

莱克在社交平台X上写道:“我爱我的团队。”他感谢了SuperAlign团队内外与他一起工作的才华横溢的人们,并强调了OpenAI的智慧、善良和有效性。

OpenAI super alignment的负责人简·雷科宣布辞职。(图片来源:X截图)

不过,莱克也披露了他离开OpenAI的真正原因:他对OpenAI的发展方向深感担忧,其中他提到了对AGI安全治理的优先级不如“闪亮产品”的推出和计算能力资源分配的不满。

莱克的离开标志着该组织在人工智能研究和发展方面的一个重要时代的结束。

OpenAI前首席科学家莱克:

该公司将“闪亮的产品”置于安全文化和流程之上。

莱克透露了与OpenAI领导层在该组织核心优先事项上的持续分歧:“我们迫切需要找出如何以比我们更聪明的方式操纵和控制人工智能系统。”他强调了关注下一代人工智能模型、安全、监控、准备、安全、对手鲁棒性、一致性、保密性和社会影响的重要性。

莱克表示非常关注这些关键领域没有得到必要的关注和资源。他在X上写道:“这些问题很难解决,我担心我们没有走上实现这一目标的轨道。”他补充说,他的团队在获得研究所需的计算资源方面经常面临挑战。

此外,还表达了对开发比人类更聪明的机器的潜在危险的担忧,强调OpenAI对人类负有重大责任。他批评该公司将“闪亮的产品”置于安全文化和流程之上,并呼吁转向成为安全第一的AGI(人工通用智能)公司。

在给OpenAI员工的最后一条信息中,莱克敦促他们以建立AGI所需的严肃态度行事,并接受必要的文化变革。“全世界都指望你了,”他写道。

莱克的辞职凸显了人工智能发展的复杂和关键性质,以及随着技术进步仔细考虑安全和伦理影响的必要性。他通过一系列推文宣布了这一决定,透露他离开的决定并不容易。

莱克回顾了他的团队在过去三年中取得的成就,包括使用InstructGPT推出了第一个RLHF(从人类反馈中进行强化学习)语言模型。他的团队在大规模语言模型(LLM)的可扩展监督方面也取得了很大进展,在自动解释和泛化方面率先由弱变强。

OpenAI的首席科学家已经离开了。

事实上,在OpenAI发布ChatGPT-4的超级升级版GPT-4O后不到36小时,OpenAI的联合创始人兼首席科学家伊利亚·苏茨基弗(Ilya Sutskever)就在社交平台上宣布辞职。

苏茨基维公开表示,在OpenAI工作了近十年后,他决定离开。“这家公司取得了令人难以置信的进步。我相信,在山姆、格雷格、米拉和杰出的研究带头人雅各布的带领下,OpenAI将会构建一个安全有益的通用人工智能。很荣幸能和大家一起工作,我会深深想念大家。非常感谢这一切,祝你一切顺利!我对即将到来的项目感到兴奋——这对我意义重大,我将在适当的时候分享细节。”

“Sutzkvi和OpenAI即将分道扬镳。这让我很难过;苏子科威无疑是我们这一代最伟大的思想家之一,是我们领域的引导者,也是我亲爱的朋友。他的才华和远见是众所周知的;虽然他的热情和同情心不那么为人所知,但它们同样重要。”

OpenAI首席执行官萨姆·奥特曼在社交平台X上回应说,如果没有Sutzkvi,OpenAI就不会有今天。“尽管他有自己有意义的工作要做,但我会永远感激他在这里所做的一切,并致力于我们共同开始的使命。我很高兴我能够与这样一位真正非凡的天才保持如此长时间的密切接触,他如此专注于为人类创造最好的未来。”

OpenAI首席执行官萨姆·奥特曼在社交平台X上回应伊利亚·苏茨基弗离职一事(图片来源:X截图)

奥特曼表示,雅各布将成为OpenAI新的首席科学家。“雅各布无疑是我们这一代最伟大的天才之一,我很高兴他能接过接力棒。他负责了我们许多最重要的项目,我非常有信心,他将带领我们快速、安全地实现确保AGI惠及所有人的使命。”联想笔记本Y460拆换喇叭

2014年,Sutzkvi被招募为OpenAI的联合创始人。当时,OpenAI是一个非营利性的人工智能研究实验室,旨在促进人工智能技术的发展,同时确保其安全性和普及性。当时,苏子科威认为这将是一个认真追求人类普遍智慧的机会(AGI)。

有网友推测,苏茨基维的离开始于2023年11月。当时OpenAI导演的“龚都”戏码还历历在目:先是奥特曼被宣布开除,但他很快就回来了。据外媒报道,“宫斗”的起因之一是苏和奥特曼在AI安全、技术发展速度、公司商业化等问题上的分歧:苏的重点从来不是OpenAI的商业化,而是如何防止超级智能失控。

功夫剧结束了吗?早期的;在早期;提早

当所有人都以为从去年到今年,OpenAI“龚都”应该算是一个终结的时候,与Sutzkvi共同领导OpenAI“超对齐团队”的领导人之一Lake在X宣布“我离职了”。

2021年,莱克从谷歌DeepMind团队加入OpenAI。他的主要研究兴趣包括强化学习、大型语言模型对齐工程和AGI。

在接下来的四年里,Lake和Sutzkway的Superalignment团队的目标是建立一个与人类水平相当的自动对齐研究员,尽可能将相关工作交给自动系统,同时确保人工智能系统的行为与人类的价值观和目标保持一致。

上个月,外媒报道称,校准团队的两名员工利奥波德·阿申布伦纳(Leopold Aschenbrenner)和帕维尔·伊兹迈洛夫(Pavel Schmidt)也是苏茨基维的盟友,他们因“泄密”被公司解雇,但OpenAI没有提供任何泄密的证据。华硕笔记本电脑专卖店在哪里

莱克在《X》上发表了几篇文章,解释他离职的原因。“建造比人类更聪明的机器本质上是一项危险的工作。OpenAI代表全人类肩负着巨大的责任,但在过去的几年里,安全文化和流程已经让位于光鲜亮丽的产品。”莱克直言不讳地说,我们应该认真关注AGI的影响,必须优先做好准备。只有这样,我们才能确保AGI造福全人类。“OpenAI必须成为一家以安全为导向的AGI公司。”

最后,Lake对所有OpenAI员工总结道:“学会感受AGI,认真对待你正在建设的东西。我相信你可以“传递”所需的文化变革。我指望你了。全世界都指望你了。”

人工智能安全治理究竟是否让位于“夺人眼球的产品”?在超级对齐团队上演离职风波之后,更多人开始关注AI安全问题。期待OpenAI在推出让世人惊叹的产品时,也能充分保障人工智能的安全性。人工智能安全治理是否让位于“吸睛产品”?超结盟队上演离职风波后,更多人开始关注AI安全问题。期待OpenAI在推出惊艳世界的产品时,能够充分保障人工智能的安全性。

dnf7周年纹章

未经允许不得转载:科技让生活更美好 » “安全保卫”团队集体“出逃”后,OpenAI宫斗剧结束了吗?|科技观察