科技让生活更美好
没想到到了年底，OpenAI已经可以自己搅动行业格局了。
在不同的叙述中，过去几周OpenAI发生的事情是硅谷的又一场商战，是“乔布斯”时刻的重演，是天才与商人的水火不容。
但这也是围绕目前人类最强AI的路线之争，是可能决定人工智能发展方向，决定人类未来命运的神奇时刻。
一条路线认为，我们应该毫不犹豫地把最聪明的大脑和最充足的资金花在AI上，无条件地加速技术创新，哪怕创新的结果是以彻底颠覆当今社会秩序为代价——这个过程越快，我们的阵痛期就越短，我们就越能以最小的代价走向最好的未来。
另一方面，AI是一个强大但道德混乱的创造。敌我难分，可能统治人类，也可能杀人。在我们知道它是什么之前，我们最好把它放在盒子里。
在本文中，我们将回顾OpenAI顶部的分裂，介绍“有效加速”和“超级对齐”这两条路线的代表思想，并简单谈谈人类和人工智能上线的最坏结果是什么。
(如果你从头到尾都看了OpenAI的顶级改动，可以跳过第一部分。)
阅读这篇文章之前你需要知道什么
貉子皮草属于什么档次
11月17日，OpenAI发表声明，现任CEO、OpenAI灵魂人物萨姆·奥特曼被董事会开除，奥特曼本人也是半小时前才被告知。几个小时后，OpenAI董事长兼联合创始人格雷格·布罗克曼(Greg Brockman)公开宣布辞职。
两位核心人物一瞬间离开公司，这家估值近900亿美元的AI明星公司的未来在一天之内变得一片黑暗，关于董事会分裂的阴谋论层出不穷。
接下来的一周，形势的发展再次出乎所有人的意料:
奥特曼不厌其烦地转发每一位员工的请愿书(包括接替他的临时CEO米拉·穆拉蒂)| @ sama
这场乌烟瘴气的闹剧让OpenAI的支持者感到心碎——这家代表人类对通用人工智能最高理想和成就的公司，居然用这种拉帮结派、幕后算计的方法，在所有人都不知道的情况下，如此轻松地除掉了核心人物。
但通过奥特曼的回归，我们也看到OpenAI高层的分裂已经难以调和，最后以逼宫的形式表现出来。
第二，奥特曼，回去。
奥特曼被解雇的原因至今仍是个谜。董事会只是在公开信中提到他们对奥特曼的领导不再有信心，而奥特曼本人在最近的一次采访中仍然拒绝透露相关细节。
关于奥特曼去留的争论只是OpenAI分裂的外化。这种分裂不会随着奥特曼的回归而弥合，反而会成为OpenAI在未来发展中不断遭遇的价值观之墙。
OpenAI的第一次分裂:坚持非盈利的董事会和不停吸金的CEO。
OpenAI成立的初衷可以说是极其理想化的。
2015年，Altman、Musk、Ilya Sutskever、Greg Brockman等人工智能领域的世界级科学家创立了OpenAI。他们最早发现人工智能的潜力，最早意识到AI的威胁。所以他们在成立之初，就想着成立一个“为所有人创造快乐，而不是为股东盈利”的公司。
他们的目标是开发一种可以媲美或超越人类智能的机器，即通用人工智能(AGI)，并确保其安全性。
这就是为什么——听起来难以置信——市值近900亿美元的OpenAI仍然是一个非营利组织。
“我们很难预测人类级别的人工智能何时到来，但当它到来时，我们需要一个中立的领导机构，它需要把公众的利益放在第一位，把自己的利益放在第二位…作为一个非营利组织，我们将强烈鼓励研究人员公开他们的工作，无论是论文、博客帖子还是代码，我们的专利都将与世界共享。”| open ai简介》@OpenAI
沉寂了四年，OpenAI在沉默中烧了很多钱，经济压力逐渐增大。
奥特曼曾经是硅谷传奇加速器Y Combinator的总裁。他见过太多优秀的初创企业因为财务问题被老牌公司碾压。2019年，奥特曼加入OpenAI担任CEO，并成立了一家盈利的子公司Open Global。据《大西洋月刊》报道，目前，Open Global的员工数量已经占到OpenAI员工总数的99%以上。
当时已经离开OpenAI的马斯克评论称，此举无异于将雨林保护组织变成一家伐木公司。
显然，单靠捐款已经无法支撑我们的计算能力和人才成本…于是我们设计了一个结构，既能保证非营利组织的核心使命、治理和监督，又能为我们筹集资金。| “我们的公司结构” @OpenAI
子公司成立后，OpenAI从微软融资超过110亿美元，直接促成了ChatGPT等面向大众用户的产品推出。在许多AI先驱看来，这种情况非常危险。在追求利润和维持公司发展的道路上走得越快，OpenAI就离一个中立、安全、谨慎的非盈利公司越远。
第二司:AI技术的快速发展和不可预测的安全问题。
linkflow官网
伊利亚·苏茨基弗(Ilya Sutskever)和OpenAI的创始人之一、首席科学家奥尔特曼(Altman)经常就AI的安全性发生争执。奥特曼更像一个商人，伊利亚有着美好的学术背景——他师从“深度学习之父”杰弗里·辛顿(Geoffrey Hinton)，后者今年春天刚刚从谷歌辞职，以便他可以更自由地谈论AI对公众的威胁。
据悉，伊利亚和奥特曼最大的不同在于，在继续前进之前，他们应该了解自己在创造什么。伊利亚认为，他的首要任务是解释AI的行为，并找到一种方法来引导AI，使它们与我们的目标和价值观保持一致，而奥特曼在面对安全和伦理问题时更激进。
据Bussiness Insider报道，伊利亚是奥尔特曼被董事会解雇的幕后推手。
奥特曼的激进也引来了其他核心员工的不满。2021年，领导GPT-2和GPT-3开发并负责领导OpenAI安全团队的达里奥·阿莫代伊(Dario Amodei)辞职，与GPT-2和GPT-3的核心作者一起创办了另一家公司Anthropic，因为他担心OpenAI的发展太快，安全无法得到保障。
他们的担忧并不过分敏感，AGI的威胁可能近在咫尺。路透社最近的一篇报道披露了这场换人大戏的另一个内幕。
据知情人士透露，在奥特曼被解雇之前，一名研究人员向董事会提交了一封信，提到了一个新项目Q*(发音为Q-Star)，该项目可能会对人类造成威胁。一天后，奥特曼被董事会解雇。
据悉，Q*项目已经取得了很大的进步，可以解决基本的数学问题。不像计算器只能解决有限数量的运算，也不像GPT-4每次对同一个问题给出不同的答案，Q*可能具有总结、学习和理解的能力，这是迈向AGI的关键一步。修改远程桌面端口
OpenAI至今没有正面回应关于Q*的传闻。如果Q*的存在是真的，我们显然还没有准备好迎接它的到来。
面对迫在眉睫的AGI，出现了两大主流应对思想流派:“超级结盟”和“有效加速(e/acc)”。
第三，超级结盟:保守派建屠龙岛
伊利亚很清楚，他们面对的是一个比人类聪明得多的特工。“这就像一个18岁的孩子…谁需要指导和控制，”伊利亚说。“超智能的巨大力量可能会非常危险，可能会导致人类力量的丧失，甚至导致人类的灭绝。”
今年7月，伊利亚在OpenAI内部率先启动了一个名为“超级比对”的项目，旨在未来四年内用OpenAI至少20%的计算能力解决这个问题(当然这只是希望，伊利亚自己也不知道是否会成功)。
“超对齐”到底是什么网络俚语？稍微解释一下。
在AI领域，意图与结果的偏离被称为“对齐问题”，可以简单理解为让人工智能系统与人类价值观保持一致。
一个错位的AI可能会造成很大的风险。两年前，有一个众所周知的“吃羊艾自杀事件”。受害者以获得更多积分为目标训练了一个抓羊AI，但是设定的条件过于苛刻，单纯的得分很难。经过20万次的训练，AI发现直接自杀是最好的办法，于是纷纷自杀。
艾自杀始末|三枚耳洞金牌
虽然抓羊的游戏是假的，但是在各个领域走捷径实现目标的AI是真的。如果这样的AI出现在自动驾驶或者安全领域，人类早就输了。
这本质上是一个类似猴爪和点金术的震撼寓言:你得到了你想要的，但在实现目标的路上出现了大问题。猴爪的故事里，老太太向猴爪许愿要200英镑，第二天老人意外身亡，赔偿正好是200英镑。
如果不对齐，AI可能导致悲剧| AI笑话(完整版)
对于保守派来说，对齐可以从两个方面入手:详细制定系统目的(外部对齐)和确保系统严格遵循人类价值观(内部对齐)。
这看似是一种理性的方式，但人类的意图本身是模糊的或者难以澄清的，甚至“人类价值观”也是多样的，不断变化甚至相互冲突的。即使AI完全理解人类的意图，它也可能忽略人类的意图(因为遵循人类的意图可能不是它的目标)。
伊利亚认为，可以训练另一个智能体来帮助评估AI，从而实现超级对齐。目前OpenAI正在按照这个思路进行工作，让我们期待他们的好消息。
伊利亚是超结盟代表的证据；
站在人类一边的是伊利亚| @伊利亚。
第四，有效加速——不惜一切代价去做
“有效加速度”听起来更令人兴奋，也更容易理解。
有效加速器认为人类目前面临的大部分问题都可以通过技术进步和持续增长来解决，历史上几乎不存在通过控制增长和倒退来解决问题的先例。人类应该无条件拥抱科技创新，这是不可阻挡的。当“加速”引发问题时，我们不能减速，而要更快更有效地加速，以缩短过渡期。
即使这种进步可能会颠覆社会，但长远来看对人类是有益的，因为泰空时代的1%比石器时代的500%要大得多。
对于有效的加速器来说，充分发展AI意味着人类目前遇到的各种困境:气候问题、资源分配问题、地区冲突、大流行可能会找到其他解决方案。在这个巨大的利益面前，AI带来的威胁，只是我们会随着浪潮解决的另一个问题。就算AI有意识，新的意识形态只会让我们的感知更加多样化，这正是我们想要的。
摘自《有效加速度宣言》第一版
奥特曼虽然没有大张旗鼓地把有效加速器的logo放在ID里，但因为一系列言论和行为，早已被视为有效加速器的重要成员。
奥特曼是有效加速器的证据；
5.人工智能进化的未来
无论是超准直还是有效加速，他们都相信一件事，那就是AGI将会诞生，并在有生之年颠覆我们的社会。
在奥特曼的描述中，AGI将永远改变现在社会的分配模式。未来，计算能力将成为最有价值的商品，因为计算能力可以驱动AI“做任何事情”。
如果富人买下了所有的计算能力，那么AI就会按照他们的意志行事，穷人就更难翻身了。奥特曼认为，解决这个问题的方法是，地球上的每个人每年获得AI总功率的八分之一。他们可以用这八分之一的计算能力做自己想做的事情，设计建造更豪华的住宅，或者用自己的计算能力进行交易。
获得图灵奖、现为Meta首席人工智能科学家的Yann LeCun也对未来的预测持乐观态度。他最近在一次圆桌会议上说，智力和控制欲之间没有必然联系。“想象一下，未来10到20年，AI将在我们的日常生活中帮助我们。他们可能比我们聪明，但我们引导他们，他们为我们服务。智力本身并不意味着控制欲。”
LeCun说，我们可以设计出一个极其智能但没有控制欲的系统。
为了实现这一点，系统必须是开源的，训练方法必须是众包的，而不仅仅是OpenAI、Google和Meta等公司的专有。开源也是OpenAI成立之初就定下的规则。
关于人工智能的争论还在继续，但无论是奥特曼还是伊利亚，甚至是OpenAI，都不是这个故事的主角，而在卷积网络中悄然酝酿的AGI才是。
参考
[1]https://open ai . com/blog/introducing-super alignment
[4]https://medium . com/@ queenskisivuli/super-alignment-how-to-create-friendly-ai-d 9684 a 611755
[5]https://MP . weixin . QQ . com/s/NP-rhfevidickwomjmjsg
[6]https://Twitter . com/dotey/status/1728820432613052859
[7]https://Twitter . com/dotey/status/1728913073388368146
[8]https://open ai . com/blog/introducing-super alignment
[9]https://open ai . com/blog/open ai-宣布-领导-换届
[10]https://coin geek . com/a-timeline-of-the-open ai-crisis/
未经允许不得转载：科技让生活更美好 » 超级对齐vs有效加速：OpenAI高层大混战
