科技让生活更美好
“如果我们又回到大公司工作，而不是用创业方式来做（推理框架），蛮可惜。”
收拾程曼琪
LateTalk是由晚点推出的播客节目。除了书面报告，它还利用音频采访来捕捉商业世界的变化趋势和不变逻辑，以及其中的人和故事。
稍后再聊最近推出了与报告系列相匹配的“人工智能大爆炸”播客系列。在这个系列中，我们不仅关注人工智能公司或产品的创业和发展故事，还逐步覆盖人工智能地图的各个方面，见证和讨论这一新技术变革引发的浪潮。
《AI大爆炸》首期节目邀请了AI领域资深从业者、连续创业者袁金辉。
2016年，袁金辉创立了OneFlow，2023年，他加入光年科技成为联合创始人。2023年6月被美团收购后，袁金辉再次创业，成立了SiliconFlow。
在宣布这次创业的朋友圈里，袁金辉的配文是:“过去的15年并不顺利，屡败屡战。”
“屡败屡战”与他在中国市场创业以来所处的AI Infra（AI基础软件）地位有关。OneFlow是AI Infra中服务AI训练（模型生产）的框架，而SiliconFlow是服务大模型推理（模型应用）的框架。拼多多崩溃是什么意思
AI框架只是连接底层硬件的计算层和模型层的一层系统软件，类似于模型开发人员使用的操作系统。
纯软件模式在中国的商业化和付费意愿一直是行业的难题，这也是袁金辉想要通过这次创业努力打通的部分。他在节目中分享了现阶段的一些答案。
*以下文字根据播客音频整理，有所删减。
“过去的15年并不顺利”:两条更艰难的道路带来了什么？
《晚点》:最近，你发了一条朋友圈，宣布你开始了一项新的业务。短文是“过去的15年并不顺利，这被认为是屡战屡败。”15年了，正好是你从清华博士毕业之后。你说的运气不好是什么意思？
袁金辉:屡败屡战都是自作自受，因为你做的是一件成功概率很低的事情。这15年发生了很多事情，主要是两件事。
我从小就想成为一名科学家。2008年博士毕业后，我其实有机会留在清华做教学和研究，但我必须经历一个叫做“教师博士后”的过渡阶段。
当时有一种安全的方法，可以重复熟悉的领域，并在博士阶段掌握的机器学习和计算机视觉方向上产生一定数量的文章，以便完成指标。
我的博士生导师张越院士一生都在研究人工智能。他认为中国应该做一些原创性和引领性的工作，这种突破应该发生在清华。
原创性是怎么来的？张老师在90年代研究神经网络。他认为未来AI的突破口应该是与人类智能息息相关的计算机科学与脑科学、神经科学与认知科学的结合，于是做了前瞻性布局，想在清华从事跨学科研究。
他邀请约翰·霍普金斯大学、UCL·盖茨比（伦敦大学盖茨比计算神经科学中心）和其他机构的专家，如彼得·达扬、李兆平、王小勤等教师担任讲座教授，帮助清华发展跨学科学科。
我不满意还在做填坑的工作，不够原创。我比较激进，选择风险更大的跨学科研究。
那时，我跟随李兆平老师学习计算神经科学。她和彼得·达扬都是UCL·盖茨比大学的教授，该校的创始人是杰弗里·辛顿。所以我们很早就注意到了当时还比较非主流的深度学习，并在这个方向上做了一些工作。不过做的有点早，没什么太大影响。很难完成从博士后到教师的KPI，也不可能继续走科学家和教授的道路。
然后我转到工业界工作了一两年。最初，我在一家初创公司做搜索引擎，包括东丈和苏华领导的搜索团队。后来这个团队的技术被360收购了，团队成员跟着老板去阿里做神马搜索。苏华继续在五道口创业。
当时觉得创业公司主要处理工程问题，之前的学术训练和积累不好，于是在2013年加入微软亚洲研究院，回归学术研究。
在微软的三年里，我认为我必须用我的个人印记和足够的影响力做点什么。也是在这个阶段，我完成了从纯算法研究到算法-系统结合的转变。PDF解析库
《晚点》:你在微软研究院期间有哪些比较重要的成就？
袁金辉:我原来在系统组，后来调到机器学习组。然而，我仍然在这个小组中从事面向机器学习的系统的工作，并且我有机会与CMU（卡耐基梅隆大学）的Eric Xing（Xing Bo）团队合作做一项在业界更具影响力的工作——light LDA（主题模型）。
在深度学习兴起之前，主题模型是互联网公司至关重要的算法系统，广泛应用于搜索引擎、推荐和广告产品中。我们的系统只使用其他公司的1%服务器，因此可以更快地训练具有更大参数的模型。后来算法和系统也开源了，国内外很多头部互联网公司都在用。
晚点:这是2014年左右还是2015年左右？字节当时也用你的系统吗？
袁金辉:字节是否有用还不清楚，但Aauto Quicker确实有用。当时，Aauto Quicker发展得非常快。作品出版后，苏华非常感兴趣，他们开始在网上使用。
搜索和推广场景都依赖于语义理解。例如，当“苹果”一词出现时，它是指水果、牛仔裤还是消费电子产品？这个词的真正语义取决于它的上下文，即整个文档。主题模型实际上是根据上下文推断每个单词的语义并帮助搜索推广匹配信息。这有点类似于ChatGPT。当然，理解的准确性和丰富性肯定与现在相差甚远。
当时虽然不是深度学习，是用CPU计算的，但计算量也很大。谷歌需要数千甚至数万台服务器才能做到这一点。
这是当时算法-系统协同设计领域非常活跃的方向。许多知名学者，如CMU的埃里克·邢（Eric Xing）和李牧的导师、谷歌的杰夫·迪恩（Jeff Dean）在这个问题上做了一些有益的工作。
后来:所以为了更完整地描述它，您解决的问题是使一个系统能够更有效地使用CPU计算能力，并使其支持以上页面的语义理解？
袁金辉:对，当时模型也很大。所谓的词库有100万种Token和100万种潜在语义。当这两个参数相乘在一起时，它是数万亿，这在工程上非常具有挑战性，并且具有巨大的经济价值。它是所有互联网公司赚钱的技术核心。
《晚点》:从LightLDA到后来做AI训练框架OneFlow的过程是怎样的？
袁金辉:2014-2016年，深度学习在图像以外的领域遍地开花，业界开始形成深度学习一定会取代传统机器学习的共识。完成LightLDA后，我判断工程是深度学习的重要组成部分。如果我想继续做一个系统，我必须做一个深度学习系统，转向这个方向。
2015年，我开始开发深度学习系统。深度学习框架在一定程度上就像AI操作系统，微软这样的大公司不能缺席。当时知名的框架有贾的Caffe、和陈天琦领导的MXNet以及Jeff Dean领导的TensorFlow。因为杰夫·迪恩的成功案例太多了，大家都认为未来迟早是谷歌的天下。
在这种背景下，我们要想后来居上，以小博大，就必须另辟蹊径。我有什么不同意见？
当时，最主流的模型，如CNN和RNN（CNN和RNN分别是卷积神经网络和循环神经网络，它们是流行的深度学习模型结构），只有数千万个参数。我的判断与大多数人不同，那就是未来的模型肯定会变得非常大。
无论是Caffe、MXNet还是谷歌的TensorFlow都不是为未来的大型模型设计的。模型很大之后，会有一些新的系统需求，深度学习系统就不得不被推翻重建。
《后来》:你用了一个比喻说深度学习框架就像AI的操作系统。你能更详细地解释一下深度学习框架的作用吗？
袁金辉:提供计算能力的是算法模型和硬件芯片之间的软件层，这样算法工程师可以在不了解底层分布式计算能力和GPU部署的情况下，更方便快捷地在GPU和TPU等AI芯片上运行他们心目中的神经网络模型。正如处理大数据需要Hadoop系统一样，数据库分析也需要OLTP和OLAP系统。
后来:在你看到模型会越做越大，需要一个新的深度学习框架之后，你为什么会选择创业来做这件事？
袁金辉:这是一个非常庞大的工程。TensorFlow是一个超过百万行代码的系统，需要工程团队等资源。微软研究院的体制是少数精英做前沿探索，没有谷歌大脑那么大的工程团队。
我非常想让它发生，我与华为和腾讯等国内大公司进行了交谈，但当时没有人相信它。我和我的朋友们聊过，他们认为如果我能获得融资，我可以用创业的方式来做这件事。因此，从2016年底到2017年初，我开始构建OneFlow。
所谓“过去的15年并不顺利，经历了许多失败和战争”，就像前面提到的那样，我在学校想做科学探索，冒了很大的风险，这导致我的人生轨迹发生了变化；后来，当大多数人不相信大模型，尤其是不相信国内创业团队能够挑战Google Brain时，他们以创业的方式做了OneFlow这样的事情——这必须在技术和生态上超越TensorFlow。从常识来看，它应该失败。
但是，当时的判断在今天已经成真，大模型已经真正出现，大模型系统也确实是我们当时想象的那样。后来，OneFlow的分布式概念和设计被今天的大模型系统所跟进。例如，我们首先意识到如何使分布式多卡像一张卡一样容易编程，PyTorch跟进了这一点，创始人Soumith Chintala在Twitter上发表了公开声明。
技术判断已经实现，部分成果已经得到业界认可，但我说的不顺利，主要是指商业化。从2017年到2023年初，公司做了六七年，大部分投资已经到了退出的阶段，但我们并没有实现持续、规模化的收益，离上市标准还很远。后来，ChatGPT出现了。
从光年之外流向硅:为什么大模型推理框架有机会？
《晚点》:ChatGPT热潮让大家看到了大模特的潜力，这对OneFlow来说是一大利好。为什么你选择在此时被收购，而不是继续自己做呢？
袁金辉:理性分析，当时被收购是大家最好的选择。大模式的门槛还是挺高的，尤其是在资金和资源的整合和商业化方面。由我自己和我们的团队来解决它是相当具有挑战性的。
在我遇到老王（联合创始人王会文，远在一光年之外）之前，我一直想推动建立一些联盟，将数据方、计算方和技术方聚集在一起做这件事，但这涉及许多不同的实体，非常困难。
老王手里，他也有产品商业化经验和号召力，这肯定更有利于实现这个愿望。
《晚点》:后来被美团光年收购，你选择离开美团创立硅基流量。你为什么没有留在美团或者去其他大公司？我知道OneFlow里有人去了其他大公司，待遇非常高。
袁金辉:从很多方面来看，这是唯一可行的选择。
一方面，我们多年来一直期待这样一个机会。当机会真正出现时，我们没有创业，而是回到了大公司，这很遗憾。
另一方面，当这个行业如此火爆时，这个团队是一笔宝贵的财富。那是一群志同道合、经验丰富的人。如果不继续创业，没有一家公司能把所有人都留下来，团队会在一定程度上被肢解，所以必须有一个富有想象力的方向来让这些人留在一起。
另外大家都认同硅基流大规模模型的推理部署新方向，认为这个机会比较好。即使手里有不错的Offer，对很多人来说去做也是更好的选择。
“后来”:在过去，OneFlow是一个面向培训的框架。为什么硅基流现在变成了推理框架？
袁金辉:AI或者说机器学习主要分为两个阶段。一种是模型的生产，即训练，通过计算从一堆数据中获得一个模型和一堆权重；二是模型的使用，即推理。例如，如果你向GP T提问，模型将给出答案。
OneFlow专注于培训，而新公司专注于推理，原因有几个:
第一，从市场机会来看，从事大规模模特培训的客户或公司数量相对较少，客户集中度相对较高，因此这类业务很难做；几乎所有需要使用大模型的公司都需要推理，随着客户越来越分散，推理的商业化将会更好。
推理的市场容量也是训练的很多倍。培训作为一种模式的生产过程是分阶段的，它在生产和实际使用时是连续的。以大模型处理的代币数量为例，训练一个大模型几乎是几万亿到十几万亿个代币，但在推理阶段，OpenAI一天产生的代币量是一万到几万亿个，一周处理的数据量可能超过训练。
第二，在大规模模型训练中，技术可以创造的余量（在提升空之间）并不大。例如，理论上，硬件的最高利用率超过60%。现在每个人用NVIDIA的系统和软件都能达到40%~50%，提升率超过10%，但推理提升率至少是十倍，价值创造率还是很大的。
第三，如果你不在大模型团队中，就更难做好培训。这需要每天运行训练任务，并且必须有足够的GPU计算能力来不断做实验。以前是光年，现在没了。然而，大型模型推理不需要如此奢侈的条件，一个小型实验集群就可以很好地完成这项技术。
《后来》:为什么我们之前看到的人工智能应用好像没有强调推理要求？
袁金辉:搜索推广全是推理，比如训练一个点击率预测模型。上线后，其实大家的查询请求和点击行为都是基于模型推理来匹配广告和内容的。
过去，在互联网搜索推广中，确实很少有第三方服务商，每个企业都自己做，但在整个AI行业中，第三方服务始终存在。过去所谓的第一代AI公司都是这样的。例如，进出机场和地铁的闸机刷脸，扫描他们的脸，判断他们是谁，然后放行。这背后是推理的执行。
但是过去只有搜索推广这个超级应用，这些做超级应用的互联网公司垂直覆盖自己（推理系统），其他方向都是过去一代AI公司覆盖的，但是比较分散。过去同时有很多模型，每个模型的价值都很小，所以推理很难成为大规模的业务。现在情况不同了。
后来:可以说大模型的推理比之前的推理更规范，规模更大？
袁金辉:对。在深度学习之前，每个模型的数学原理是不同的；深度学习之后，大模型出来之前，有很多模型结构，比如CNN、RNN等等，甚至RNN也有很多不同的版本。大模型出来后，一个模型可以做很多事情。它是高度标准化的，使用的场景、范围和深度都比以前的型号好得多。
现在大家不是都用变压器结构吗？模型结构和运行模型的软件将变得越来越统一，从而可以大规模复制一个产品，这在商业中是一个非常好的功能。今天，大模型可以在无数场景中创造巨大的价值，并且所有场景都可以使用相同的推理系统。
《晚点》:你把团队的核心成员留在了大模型推理的新方向上。在硅基移动团队中，有多少人是前OneFlow，他们还吸收了谁？
袁金辉:我们进入光年的时候是40人，出来创业的时候是35人。也有人曾经在OneFlow工作，去了大厂又回来了；还增加了一些产品化和商业化方面的技术专家和人员。
《晚点》:团队认识到了这个新方向，接下来的问题就是商业化。2020年，我们谈到了中国Infra软件公司的融资热潮，包括AI相关的，如OneFlow；在数据库领域，如PingCap、Taosi、Zilliz………当时的逻辑是中国风险投资机构跟风美国进行投资，也是MongoDB和Elasticsearch等公司密集上市的时期。这些公司的市值与2020年相比翻了一番，但我们当时提到的许多中国公司并不那么顺利，不仅仅是你。主要区别是什么？为什么这样的基础软件项目在海外可以实现业务闭环，在国内却比较困难？
袁金辉:中国对SaaS（软件即服务）的投资已经降至冰点。简单来说，这与经济发展水平和信息化水平有关。就像一条河一样，美国市场把这条河冲刷得又宽又深，只要放水就行。在美国做SaaS和Infra很容易，其产业链对这种类型的创业非常有利。中国的河流中仍有许多石头和浅滩，例如客户的信息化水平较低，为软件付费的意愿较低，这些都是历史因素。
我希望现在能在这个问题上有所突破。在中国，是这条路走不通，还是我们修行人没有找到那条路？
去年7月和8月，当我想重新创业时，作为多年的朋友和OneFlow的投资者，苏华承诺我会重新创业，无论我选择什么方向，我都会支持。但当我说我仍然会做国产2B软件时，他也提醒我要谨慎，说他在这方面没有做太多研究。然而，近年来许多聪明人相继进入这个行业，他们做得很好。他没有想清楚为什么，也没有看到我有任何认知上的领先。
后来，我们做了很多研究，我觉得我们找到了一些方法。做全球化更重要。在海外，尤其是在美国，这样的产品和商业模式仍然很容易成功。
晚点:这种商业模式到底意味着什么？直接通过API或其他标准化产品赚钱？
袁金辉:在美国，只要软件和SaaS公司处于云计算的大产业链中，并使某个环节非常具有竞争力，他们就可以在价值链中完成商业化，而不必像中国那样成为集成商和项目。如果我们只做标准化的部分，如果我们有足够的竞争力，我们可以有持续、稳定和可观的收入。
美国的许多企业客户都有大量的SaaS消费，公司每年都不得不在SaaS订阅上花费更多。一方面，他们有很好的信息化水平，可以使用标准产品。另一方面，他们的人力真的很贵。
公有云上也有市场，有点像App Store。当云上的客户需要解决某些问题时，他们可以购买相应的产品，他们根据呼叫量付费。和平极品名字
现在我也想到了一些在中国实现基础软件商业化的方法。
从市场空或需求的角度来看，统计数据显示，量产AI和大型模型的海外需求是国内需求的几十到几百倍，因此全球化是一件要做的事情。
在中国，制造这类产品是一种硬模式，支付意愿较低，大客户习惯于综合服务。不过，在我看来，国产软件的商业化之路并非走不通，只是创业者需要找到合适的产品形态，运用正确的商业策略才能获得商业价值。
例如，一个容易想到的方法是一起销售软件和硬件。如果纯卖软件能行得通，那真是令人羡慕。软件意味着无论复制多少份都没有额外的成本，因此在比尔·盖茨眼中，这是最好的商业模式。但是在我们的大环境下，客户是怎么想的呢？你看不见摸不着的东西却收我这么多钱？
另一种方式是与云和计算能力绑定。所有这些使用AI的客户都必须为计算能力付费，因此您可以尝试为计算能力和服务打包收费。
总之，要在中国完成闭环业务，我们必须想办法将软件与用户必须支付的内容结合起来。
《晚点》:硅基手机现在的目标客户是谁，营销的顺序是什么？
袁金辉:长期来看，大模型和生成式人工智能肯定会无处不在，会发生在所有场景和所有行业，但它的渗透有一个过程。
最近半年到一年，首先是大模型公司是一个很好的客户，其次是一些已经开始放量的应用公司，比如海外的中旅和不惑，已经开始爆发对AI推理的需求。然后，可以通过大型模型或生成式人工智能立即获得商业价值的公司（如游戏公司）尝到了甜头，现在他们正在推出基于大型模型的NPC以使玩家更愉快。只要玩家为游戏付费，游戏制造商就愿意为创造其能力的AI基础设施和技术付费。因此，确实有一些市场是低挂水果（更容易获得的水果）。
晚点:为什么大模型公司不自己做推理框架？例如，一些公司制作自己的培训框架和工具。
袁金辉:不是所有的训练系统都是大模型公司自己做的，但都是用英伟达的Megatron-LM。
目前世界上推理引擎主要有两个来源:一个是伯克利大学的开源vLLM，有海外朋友告诉我OpenAI也在使用vLLM。许多海外Infra公司也基于vLLM进行了优化，例如拥抱脸的TGI。第二，NVIDIA制造的TensorRT-LLM。许多大型模特公司使用vLLM或TensorRT-LLM。
后期:硅基flow既不是伯克利的vLLM，也不是NVIDIA的tensor rt-LLM？
袁金辉:我们从零开始建立了一个系统，SiliconLLM，这是我们知道的第三个系统。
晚点:你又在和大公司竞争了。成功率会提高吗？英伟达也是一家拥有众多资源和强大AI开发者生态的公司。
袁金辉:对于云计算公司、NVIDIA这样的芯片公司以及OpenAI这样的大模型公司来说，推理框架也是兵家必争之地，每个人都有控制它的欲望。
但事实是，我们现在所做的比vLLM和TensorRT-LLM好得多。在硅基flow之前，我们的竞争对手是这些从事框架的大制造商。在那个阶段的比赛中，我们取得了很多胜利，在技术层面上没有心理弱点。
晚点:如何判断自己比别人强？是看你对特定任务的加速效果，还是计算资源的利用率能有多高？
袁金辉:有些指标是通用的，比如硬件相同、型号相同。换代越快越好。或者每秒生成的token越多越好，这些都是客观指标。
目前，确实没有针对大型语言模型推理的权威第三方测试，但在我们最初的基础领域，例如图像/视频生成引擎SiliconDiff，它实际上已经是业界最快的系统一年多了。国内外许多客户使用开源版和企业版。
《晚点》:你们只有40多人。为什么能比世界知名的大公司做得更好？
袁金辉:过去，OneFlow是开源的。例如，我们可以实现比NVIDIA更快的底层优化，包括稳定的扩散，这是业界最快的。开源版比TensorRT快，企业版快得多。
之所以能做到，是因为这些人才非常顶尖；；而且你会发现，敢于创业的人其实比在大厂工作的人更有野心。有时候，野心或斗志更重要。
此外，这件事在许多大型工厂中不是最优先考虑的事情，但在这里却是唯一的事情，它是生活的基础。
我还想分享一件莫名其妙的事情:这些同样的人在另一个环境中不可能做出这样的事情。就像酿酒一样，同样的水和粮食，有的成了茅台，有的成了其他。有不少同事是去了这里的大厂后回来的。这里确实有一些特别的东西。
《晚点》:有哪些同样是创业团队的公司，他们唯一的事情就是做一个推理框架？你如何看待硅基流量及其竞争？
袁金辉:海外公司很多。Anyscale这是一家由伊恩·斯托伊察创立的新公司，该公司最初创立了Databricks陈天奇拍了《章鱼》，贾拍了《轻子艾》等等。
当然，即使是在海外成为独角兽的公司，在收入上也没有支撑。我们必须有比独角兽更大的目标。
晚点:挑战主要来自技术还是商业，还是来自大模特行业的未来变量？
袁金辉:我对团队的技术能力非常有信心。最大的挑战是产品化和商业化，特别是全球化如何运作，以及在特殊的国内环境下使用什么商业模式来获得价值回报。
2024年的大模式变化:展望超级应用，芯片层将从一家独大变得更加分散。
《后来》:我们之前交流的时候，你提到在ChatGPT刚开始的时候，大家都觉得它是一个非常壁垒的东西。后来，开源模式和社区逐渐消除了障碍，这是2023年的一个变化。2024年会发生什么？
袁金辉:有人会不同意大模型壁垒不是特别高。让我再解释一遍。
我在三个团队做过搜索引擎。过去，搜索引擎在各方面都被认为是一个非常高的壁垒。后来，我会发现它仍然有进入壁垒，但它不再神秘。
大模型也经历了这个过程。ChatGPT在2022年底问世后，我对它的理解并没有改变。它有四个要素:数据、算力、算法和工程。
算力和数据可以用钱解决，算法和工程要靠人才。其中，算法更容易传播，如CNN和Transformer，它们将遍布世界各地。
大型模型的障碍不太可能是技术。我一开始并不觉得这很神秘。起初，许多人担心中国无法制造ChatGPT。去年，越来越多的人有机会和能力从零开始训练一个大型模型，该模型达到了GPT-3.5的水平。
基于这种判断，你会想做一些有长期壁垒的事情，只有当有长期壁垒时，你才能取得商业上的成功。
《晚点》:工程能力会是一个更长期的障碍吗？
袁金辉:工程更容易成为壁垒。能持续多久可以讨论。
《晚点》:我们与阿里云首席技术官周静和知乎CEO张鹏讨论了这个话题。阿里云积累了大量的工程细节。当智普第一次培训第一版GLM时，花了大约两个月的时间，其中六个月从事工程架构和细节工作，这些经验不会写在论文中，也不会开源。
袁金辉:这是训练中的项目，推理中的项目也很多。工程之所以更容易形成壁垒，与其自身特点有关。
有时候，越聪明的想法越不容易成为障碍。因为一个能创造巨大价值的精彩算法或系统设计往往太过显眼，而且ROI（投资回报率）非常高，几乎每个人都必须去做。
项目是由许多从单个角度来看ROI非常小的东西构建的，它需要时间来积累。在一个没有决心在这个方向上获胜的团队眼中，任何单点提升都不值得做，但没有这样的小提升，就不会有积少成多的综合效应。
很多人认为工程问题可以通过花费时间和资源来解决，但在计算ROI后并没有多少人真正做到这一点。
“后期”:很好的总结，我们可以继续谈论2024年可能发生的变化。
袁金辉:首先，应用市场的爆发值得期待。至少中国没有像Midjourney和Character.ai这样基于大模型的成功应用。其次，无论是基于开源还是基于闭源，中国都会有一个接近甚至达到GPT-4水平的大型模型。
《晚点》:中国什么样的大型模特公司能达到GPT-4的水平？
袁金辉:各方面都不能有缺点，但我感觉现在任何一支球队都缺少点什么。
“后期”:中国仍在追赶大型号技术；在大模型的应用中，中国市场有没有可能出现更惊人的变化？
袁金辉:基于公开可访问的模型，我认为未来超级App是可以孕育的，但大概率不是一个大的模型公司。未来的张一鸣和张小龙在哪里还是未知数，进入大型模特公司的概率不高。这些公司加起来只有几千人，而且大部分都是搞技术的。
“晚”:移动互联网时代的超级应用。最后我自己做了AI的基础软件层。例如，字节有一个庞大的反洗钱团队。下一个张一鸣，当他的应用程序足够大时，它会覆盖你的推理框架吗？
袁金辉:这个问题一直存在。当应用程序超级成功时，它将垂直集成基础架构软件。但是，申请的总数非常大。除了超级应用，还有腰部和长尾应用，这些应用都需要第三方AI能力。就像云厂商自己生产芯片，但他们也想购买第三方芯片一样。
在大规模模型基础设施的范围内，也存在相互覆盖的问题。OpenAI为所有公司提供大模型能力，那些不专注于超级应用的大模型公司也在这一层，希望成为大模型基础设施。我们也是一个大的模型基础设施，但起点不同。大模型公司训练一个好的模型然后弥补系统、计算和成本问题，而我们从推理系统和成本入手。
因此，模型和系统是互补的，经济学中互补产品之间的关系是，如果你在你的环节中领先，而与你互补的环节相对分散，那么它将对你有利。那么是大车型的供应更分散还是系统更分散呢？过几年再看吧。
后期:现在如何预测大模型各层的离散程度？
袁金辉:芯片领域现在由英伟达主导。即便如此，可以预见的是，芯片领域将从今年的非常集中到明年变得更加分散，因为大型号的结构更加趋同。
现在大多数场景需要的是一个大型语言模型，它在很大程度上统一为一个Transformer结构，总共有几十个运算符。芯片公司只需要支持这些运营商就可以了，软件生态上没必要克服那么多问题。有很多芯片公司可以很好地支持Transformer，例如AMD、英特尔和华为。
此外，芯片领域的持续霸主地位也不符合行业规则。如果技术创新创造了20000元的价值，垄断者将18000元留在自己手中，只放弃2000元；但如果有新的进入者来做，它将放弃更多的价值，对整个行业更有利。
软件层的进入门槛比芯片低，竞争肯定会更激烈。虽然不是赢家通吃，但也分为二八等，最好的一个可以获得最多的市场回报。
其实在任何一个环节，即使货源相对分散，如果能保证领先，第一名依然会活得比别人好。
《晚点》:你刚才提到，这次创业不仅是为了成为独角兽企业。这次你想实现什么目标？
袁金辉:一个判断是未来大模型会无处不在，我也希望我们的产品无处不在，提供核心系统能力支持，这是业务目标。
个人认为，过去六七年创业，虽然我们让投资人赚到了钱，但并不是商业上的成功。清华科技园不是有很多大的模特公司吗？吃饭和坐电梯时，我经常听到周围的人讨论技术和行业问题。有一次，我在喜家德楼下吃饭，旁边两个人说:“好像是OneFlow，技术很好……”中间说了一堆好话，最后说:“还没买，也没赚到钱。”我当时很尴尬，所以赶紧吃完饭。
有时我在想，我们是否树立了一个坏榜样？技术判断没有问题，工作也勤勤恳恳、稳扎稳打，但还是没有取得大家认可的成功。许多人不相信技术。这一次，我们希望取得所谓的世俗成功，证明我们所相信的东西。只有当更多的人看到世俗的成功时，他们才能相信你的想法并使它变得更强大。
题图来源:消防战车
未经允许不得转载：科技让生活更美好 » 晚点播客丨光年之外联创再出发，与袁进辉聊 AI Infra 到底做什么
