Sora背后团队:应届博士带队,00后入列,还专门招了艺术生

本文授权由量子比特(ID: Qbitai)转让给奥菲寺的克瑞西鱼羊。

现在世界上最受关注的技术团队是什么?

黑脸田鸡队来到了聚光灯中心。

不仅项目负责人的评论区人满为患,而且成为最受欢迎的“景点”。

优秀成员的简历也持续引发关注。

大家都发现这个团队相当年轻:两位领导人都是去年(2023年)刚从博士项目毕业的,团队中甚至还有00后球员…

但是牛逼也是真正的牛:

GitHub 5.7k项目InstructPix2Pix的作者DALL-E 3的作者之一Tim Brooks在2021年至2022年在NVIDIA实习期间担任视频生成研究的项目负责人。

威廉(比尔)皮布尔斯与谢赛宁合作设计出了黑脸田鸡的技术基础之一——扩散变压器。该论文还入围了CVPR 2022年最佳论文候选名单。

这个团队的起源是什么?今天我们就来仔细说说。

今年的博士带领团队。

黑脸田鸡有三位校长,包括蒂姆和比尔(排名不分先后)。

蒂姆·布鲁克斯也是《DALL-E 3》的作者,去年1月刚从加州大学伯克利分校毕业。

蒂姆就读于卡耐基梅隆大学,主修逻辑和计算,辅修计算机科学。在此期间,他在脸书软件工程系实习了四个月。

2017年,本科毕业的蒂姆先是在谷歌工作了近两年,在Pixel手机部门研究AI摄像头,然后前往伯克利AI实验室攻读博士学位。

在伯克利读博士期间,蒂姆的主要研究方向是图像和视频生成。他还在英伟达实习,并领导了一项关于视频生成的研究。

回到校园后,蒂姆与他的导师阿列克谢·埃夫罗斯教授和博士后研究员亚历山大·霍林斯基(现谷歌)一起开发了人工智能图片编辑工具InstructPix2Pix,并被选为CVPR 2023年的亮点。

去年1月,蒂姆顺利毕业并获得博士学位,随后加入OpenAI,并先后参与了DALL-E 3和黑脸田鸡的工作。

值得一提的是,蒂姆不仅在专业领域拥有高超的技术水平,而且还是一个多才多艺的人。

据蒂姆自己说,他还喜欢摄影和音乐。高中时,他的照片获得了国家地理杂志的奖项。我去过百老汇并获得了B-box国际大奖…

四个月后与蒂姆毕业于同一所学校的威廉·皮布尔斯是黑脸田鸡的另一位掌门人。

(皮布尔斯使用昵称比尔,在Linkedin上和签署文件时使用威廉这个名字,下面所有人都称为比尔。)

比尔曾就读于麻省理工学院,主修计算机科学,参与了GAN和text2video的研究,还在NVIDIA深度学习和自动驾驶团队实习,研究计算机视觉。

在他毕业后正式开始攻读博士学位之前,他还参加了Adobe的暑期实习,仍然在研究GAN。该项目与卡耐基梅隆大学的中国学者朱俊彦(他也是Efros的教授,现在在麻省理工学院工作)合作,并成为CVPR 2022年的最佳论文候选。

后来,在学期开始时,比尔去了埃夫罗斯教授在伯克利的研究小组攻读博士学位,他的研究成果被选入许多学术会议,如SIGGRAPH、ICCV和CVPR。

2022年5月,比尔前往Meta实习半年,与谢赛宁(比尔开始实习时谢赛宁尚未离开Meta)合作发表了DiT模型,首次将Transformer与扩散模型相结合。

这一成果被ICCV 2023接受为口头论文。值得一提的是,OpenAI此次发布的黑脸田鸡被认为是基于DiT构建的。

去年5月,比尔也从伯克利毕业并加入OpenAI。

除了这两位去年加入的研究人员外,黑脸田鸡团队的另一位负责人Aditya Ramesh也是OpenAI的“老人”。

Aditya是DALL-E的创造者,领导了三代DALL-E的研究。在论文的三个版本中,他是一个共同的工作。

这样一位领导了三代DALL-E的大神,现在领导着黑脸田鸡队,却只有一个学士学位。MATLAB神经网络拟合工具箱怎么用

根据LeCun的说法,Aditya曾在纽约大学学习,并参与了他实验室的一些项目。

阿根廷对比利时 86世界杯

在此期间,Aditya一直在研究生成模型,并与LeCun一起发表了一篇论文。

梦幻大战

毕业后,Aditya想继续深造,但她在OpenAI的暑期实习中被留了下来,成为了一名正式的研究人员。

00后加入。

阿迪蒂亚·拉梅什并不是黑脸田鸡团队中唯一的大学生。

如上所述,这个团队中有一位“00后”Will DePue,他刚刚于2022年从密歇根大学计算机系毕业。

在高三的时候,这位小哥哥创办了一家市场咨询公司DeepResearch,后来被Commsor收购。

2023年7月,小哥加入OpenAI。根据他的LinkedIn信息,他今年1月刚刚加入黑脸田鸡项目组。

此外,大卫·施努尔和乔·泰勒都没有博士学位。前者毕业于加州大学圣巴巴拉分校,后者毕业于美国艺术学院。

正如Aditya Ramesh自己所说,黑脸田鸡团队的许多成员都是DALL-E 3的作者。

包括两名中国人李静和郭。

《李菁》是DALL-E 3的联合作品。2014年,她毕业于北京大学物理系,获得学士学位,2019年,她获得麻省理工学院物理学博士学位。在Meta担任博士后研究员2年多后,李静于2022年加入OpenAI。

中国作者中有Ricky Wang,他今年1月刚刚从Meta/Instagram跳槽到OpenAI。另外两位,郭和Clarence Ng没有太多公开信息。

新跳槽的Conner Holmes在微软工作时以外援的形式参与了DALL E 3的推理优化,后来干脆加入了OpenAI。

最后,让我们看看完整的作者名单:

从团队的组建和研究基础来看,黑脸田鸡应该是OpenAI在过去半年里的最新成果,而不是“它已经存在了很长时间,但没有发布”。

然而,黑脸田鸡的爆发和顶尖人才的不断聚集震惊了所有人,让他们重新考虑OpenAI的技术领先地位。

就在今天,作者发布了黑脸田鸡的新作,甚至“同一个场景”下的多摄像头视频也出来了。

网友的心情是这样的:

现在,视频生成,接下来会是什么?

参考

本文经授权转载自量子比特(ID: Qbitai)。如需二次转载,请联系原作者。欢迎转发到朋友圈。

未经允许不得转载:科技让生活更美好 » Sora背后团队:应届博士带队,00后入列,还专门招了艺术生