OpenAI成立新的安全顾问委员会 成员全是自己人

冯海强 润德

周二，OpenAI宣布成立一个新的安全顾问委员会，负责监督与公司项目和运营相关的“关键”安全和安保决策。值得注意的是，安全顾问委员会的成员全部是公司内部人员，包括OpenAI的CEO萨姆·奥特曼，没有外部人员。

根据OpenAI博客上的一篇文章，安全顾问委员会将在未来90天内负责评估OpenAI的安全流程和保障措施。然后，该委员会将向OpenAI的董事会报告其调查结果和建议，OpenAI表示，对所采纳建议的任何更新都将以安全可靠的方式公布。

OpenAI周二表示，它已经开始训练新一代旗舰人工智能模型，以超越当前的GPT-4模型。“OpenAI最近开始训练其下一个前沿模型，我们预计由此产生的系统将把我们带到通用人工智能道路上的一个新水平，”OpenAI写道。“虽然我们很自豪能够构建和发布在功能和安全性方面领先的模型，但我们欢迎在这一重要时刻进行深入讨论。”

除了奥特曼，安全顾问委员会的其他成员包括布莱特·泰勒、亚当·安吉洛和妮可·塞利格曼，他们都是OpenAI的董事会成员。以及首席科学家Jakub Pachocki、OpenAI早期准备团队的Aleksander Madry、安全系统负责人Lilian Weng、安全负责人Matt Knight、AI Alignment负责人John Schulman。

安全不再优先考虑很多高管的离职。

在过去的几个月里，OpenAI技术团队中的许多高级安全人员已经离开，这些前员工中的一些人担心OpenAI在AI安全领域的优先地位下降。

丹尼尔·科科塔吉洛(Daniel Kokotajlo)曾在OpenAI的团队治理部门工作，他在个人博客上写道，由于对OpenAI在发布日益强大的AI方面的“负责任的行为”失去信心，他于4月辞职。此外，OpenAI的联合创始人兼前首席科学家伊利亚·苏茨基弗(Ilya Sutskever)在与奥特曼及其盟友进行了长期斗争后，于5月份离职。据报道，部分原因是奥特曼急于推出人工智能驱动的产品，而牺牲了安全性能。白礼西现在在什么地方任职

最近，前DeepMind研究员简·雷科(Jan Williams)辞去了OpenAI负责开发ChatGPT及其前身InstructGPT时的安全研究员职务。他在X平台上的一系列帖子中表示，他认为OpenAI“没有走上解决AI的安全保障问题的正轨”。与此同时，人工智能政策研究员格雷琴·克鲁格(Gretchen Krueger)上周离开了OpenAI。她也同意雷科的观点，并呼吁企业提高问责制和透明度，“更谨慎地使用自己的技术”。

据媒体报道，除了苏茨基弗、科科塔杰罗、雷科和克鲁格，自去年年底以来，至少有五名OpenAI员工，包括前OpenAI董事会成员海伦·托纳和塔莎·麦考利，要么辞职，要么被迫离开。两人日前在媒体上撰文称，在奥特曼的领导下，他们认为OpenAI无法让自己承担责任。

“根据我们的经验，OpenAI的自我治理无法承受利润激励带来的诱惑。”

写作提纲英文

提倡监督？塑造监督

此前有媒体报道称，负责开发“超智能”AI系统治理方法的OpenAI Superalignment团队，被承诺获得公司20%的计算资源，但实际上这部分资源非常少。此后，超级对齐团队被解散，大部分工作移交给AI对齐负责人约翰·舒尔曼(John Schulman)和OpenAI在12月成立的安全顾问小组。

虽然OpenAI一直在倡导AI监管，但也在努力塑造这些监管。该公司聘请了一名内部说客，并从外部律师事务所聘请了越来越多的说客。2023年第四季度，该公司仅在美国就花费了数十万美元进行游说。近日，美国国土安全部宣布，奥特曼将成为其新成立的人工智能安全保障委员会的成员，该委员会将为“安全可靠的AI开发和部署”提供建议，以覆盖美国的关键基础设施。

为了避免因为安全和安保委员会都是内部高管而被认为是橡皮图章，OpenAI承诺聘请第三方“安全、安保和技术”专家支持委员会的工作，包括网络安全专家Rob Joyce和美国司法部前官员约翰·卡林。

但除了乔伊斯和卡林，OpenAI并没有具体说明外部专家组的规模和构成，也没有透露该小组对委员会影响力和权力的限制。有专家指出，OpenAI成立这样一个企业监督委员会，类似于谷歌的高科技外部顾问委员会。实际上在实际监管上做的很少。

未经允许不得转载：科技让生活更美好 » OpenAI成立新的安全顾问委员会 成员全是自己人