科技让生活更美好
在过去的一年里，世界各地的科技公司都在抢购AI芯片，到目前为止，AI芯片供不应求。
英伟达的产能上不去，主要是因为HBM（高带宽内存）不够。每个H100芯片将使用六个hbm。目前，SK海力士和三星提供了90%的HBM，该技术领先微米整整一代。
这给了韩国人一个前所未有的机会。
三星京畿道内存工厂
众所周知，内存市场一直保持着三足鼎立的格局。其中只有韩国公司:三星和SK海力士，占据了70%的市场份额。但排名第三的美光科技仍占据20%以上的市场份额。双方你来我往，互有胜负。
韩国人普遍对这种情况感到不满。20世纪80年代，日本占据了90%以上的内存市场。这种压倒性的垄断是韩国半导体的终极梦想。
因此，2024年初，韩国政府将HBM指定为国家战略技术，并为HBM供应商提供了税收优惠，准备再次发起冲锋。
如今，梦想可能会实现，一个韩国人，似乎只有一步之遥。
冯·诺依曼的“陷阱”
韩国人之所以能再等一次机会，很大程度上得益于“计算机之父”冯·诺依曼。
1945年，世界上第一台计算机ENIAC问世不久。冯·诺依曼和他的同事发表了一篇论文，阐述了一种全新的计算机体系结构。最大的突破之一是“存储和计算分离”——这是逻辑运算单元第一次从存储单元中分离出来。
如果你把电脑内部想象成厨房，那么内存就是仓库管理员，逻辑芯片就是厨师。
起初，“做饭”和“管理仓库”的工作实际上是由同一个芯片完成的；“存储与计算分离”的概念提出后，计算机开始分别设置多个“岗位”和“招聘人才”。
分体式逻辑芯片最终演变成了今天的CPU和GPU。
这样做的好处是显而易见的:存储器和逻辑芯片都有自己的功能，它们像流水线一样顺畅、高效和灵活，并迅速赢得了第一代计算机设计师的青睐，并一直延续至今。
这就是现在著名的冯·诺依曼建筑。
然而，“计算机之父”冯·诺依曼在设计这一架构时却不慎埋下了“炸弹”。
如果冯·诺依曼架构想要最大化效率，实际上有一个隐含的前提:
也就是说，从存储器到逻辑芯片的数据传输速度必须大于或等于逻辑芯片的操作速度。翻译成中文，仓库管理员必须以比厨师烹饪更快的速度将食材送到后厨。
然而现实中的科技树却走上了一条完全相反的道路。
内存显然跟不上逻辑芯片的迭代速度。以CPU为例。早在20世纪80年代，这种性能不平衡就不容忽视。到了21世纪，CPU和内存之间的性能差距一直以每年50%的速度增长。
因此，决定芯片计算能力上限的不是逻辑芯片的计算能力，而是存储器的传输速度。厨师已经严重溢出，仓库能配送多少食材决定了厨房能做多少菜。
这就是现在常说的“记忆墙”，也就是冯·诺依曼留下的陷阱。
在上个世纪，一些人试图改变现状，出现了一些全新的芯片架构。然而，蜉蝣很难撼动树木。与围绕冯诺依曼架构构建的生态帝国（包括编程语言、开发工具和操作系统）带来的好处相比，那点性能提升不值一提。
直到人工智能浪潮汹涌而来。
新火种
基于深度学习的人工智能对计算能力有着近乎病态的需求。
OpenAI做过一个计算:从2012年的AlexNet模型到2017年谷歌的AlphaGoZero，计算功耗增加了30万倍。随着Transformer的出现，“努力创造奇迹”成为人工智能行业的底层逻辑，几乎所有科技公司都受困于计算能力不足。
作为阻碍算力进步的“罪魁祸首”，冯诺依曼架构迅速被推上风口浪尖。
AMD是最早意识到问题严重性的科技巨头之一。在这方面，它采用了一种非常“简单粗暴”的解决方案——将内存放在离逻辑芯片更近的地方。我把“仓库”建在离“厨房”更近的地方，这样送货速度就会提高。
2015年，AMD推出了首款采用非冯诺依曼架构的产品。
但是在那一年，AMD的这个方案有一个致命的缺陷。
在过去，存储通常是通过插槽“插入”GPU包之外，这相当于在郊区建一个仓库。
然而，为了缩短它们之间的距离，AMD打算将内存移动到与GPU相同封装的同一载体上。但是，承载板面积非常有限，就像寸土寸金的中心城市一样。传统内存往往面积很大，就像一个超大型仓库，显然不能建在中心城区。
至此，HBM开始进入历史舞台:它采用垂直堆叠小型DRAM裸芯片的方式。
我们可以把HBM想象成一个12层的超小型仓库。由于仓库面积小，对土地占用的需求大大减少，迁入中心城市是合乎逻辑的；同时，从一楼到十二楼，每一层都可以存储数据，因此实际性能并没有缩水。
目前，HBM的表面积仅为传统存储器的6%。这项新技术使AMD的技术解决方案得以成功落地。
因此，AMD越过太平洋向SK海力士伸出了橄榄枝。
2015年，AMD推出了GPU Fiji，并在一个芯片载体上排列了四个hbm，这给了业界一个小小的震动。斐济配备的高端显卡镭龙R9 Fury X在纸面计算能力上首次超过了NVIDIA的同期开普勒系列。
虽然《斐济》在后续的市场表现中是一部失败的作品，但这并没有阻碍HBM的惊鸿一瞥和惊扰一池春水。
几个人的游戏
当全球科技公司开始押注人工智能时，打破“记忆墙”的HBM也将这一趋势带到了时代舞台的中央。
然而，只有少数人能够从HBM浪潮中分得蛋糕。目前，HBM即将进入第四代，但牌桌上总有四个人。到2023年，仍只有三家制造商能够生产HBM: SK海力士、三星和美光。不幸的是，这种情况将在很长一段时间内保持高概率。
虽然三巨头也垄断了传统内存，但二三线厂商也可以在市场繁荣时喝肉汤。但在HBM领域，其他厂商连汤都上不了。
技术门槛高是造成这种情况的重要原因。
如上所述，HBM是一个楼层很高的小型仓库。如何实现高层建筑的设计，这背后有很多学问。
目前，业界使用的技术称为TSV（硅通孔），这是目前唯一的垂直电气互连技术。通过蚀刻和电镀，TSV贯穿堆叠的DRAM裸芯片，实现了所有层的通信互联，这可以想象为在大楼中安装电梯。
由于HBM的面积太小，TSV工艺的精度要求非常严格。它的操作就像用电钻钻米粒一样困难。此外，HBM需要的不仅仅是“钻孔”:随着大楼越来越高，HBM对TSV的需求也将相应增加。
三大巨头在TSV拥有最深厚的技术积累，这足以轻松摆脱云韵小厂并稳坐山头。
第二个原因是HBM打破了传统的内存IDM模式，需要依靠外援，所以不算自己。
IDM模式是指所有的设计、制造和封装都由内存制造商安排。过去，三星等内存厂商之所以敢打价格战，正是因为他们掌握了整个制造流程，可以最大限度地挤压利润空。
然而，当涉及到HBM时，我们仍然自己进行设计和制造，我们必须依靠晶圆代工厂来封装这一环节。
毕竟HBM不是独立的内存，需要安装在逻辑芯片旁边。这一过程涉及更复杂的操作、更精密的设备和更昂贵的材料，因此我们只能求助于先进的封装技术。目前，只有台积电的先进封装技术达到标准，三大巨头都是其客户。
台积电先进封装技术公司
只是台积电的产能相当有限，粥不够，三巨头不够；如果新玩家想加入游戏，这取决于台积电是否愿意接受你。
由于技术门槛高，且依赖台积电先进的封装能力，HBM只能成为少数人的游戏。正是因为这些特点，HBM战争的风格注定与过去的记忆战截然不同。
重塑游戏规则
众所周知，传统内存的竞争往往围绕着价格战展开。由于传统内存是高度标准化的产品，因此不同系列之间的性能没有太大差异。通常谁的价格低，谁就能得到更多的订单。
但对于HBM来说，技术迭代更快的一方掌握主动权。
由于HBM主要用于AI芯片，其主要卖点是性能。强大的AI芯片可以大大缩短模型的训练时间。对于科技公司来说，只要能尽快将大型车型推向市场，多花点“乐儿”又有什么不好呢？
因此，在过去的几年里，内存供应商一直在关注技术内卷化。
2016年，三星能够在HBM市场超过SK海力士，正是因为它率先大规模生产新一代HBM 2，并且在技术上领先。
英伟达的V100芯片使用三星的HBM 2。
另一方面，保持大腿足够粗也很重要。
因为有能力生产AI芯片的科技公司，全球也就那么几家，而且高度依赖大客户。在过去几年中，SK海力士、三星和美光围绕HBM的竞争实际上是关于谁的大腿更粗。
SK海力士是第一个结束的，它一亮相就与雄心勃勃的AMD绑定在一起。不幸的是，AMD的芯片销售并不好，参与SK海力士的HBM一度受到欢迎。
相比之下，三星相当“鸡贼”。凭借首款量产的HBM2，它成功拥抱了英伟达的大腿，并超越了SK海力士。
然而，在2021年，SK海力士率先大规模生产HBM 3，并成功地将NVIDIA纳入自己的阵营。如今，全球抢购的人工智能芯片H100使用的是SK海力士的HBM。在新大腿的加持下，SK海力士已经彻底确立了“HBM一哥”的地位。
SK海力士提供H100的HBM。
与韩国人相比，Micron的运气最差，得到了英特尔。
2016年，美光与英特尔押注另一条技术路线。经过多年的研发，美光意识到自己选择了错误的路线。此时，美光已经落后韩国对手两代。
目前，SK海力士占据了HBM总供应量的50%，隔壁的三星占据了40%，而美光只有10%。
在HBM业务的推动下，去年第三季度SK海力士在内存市场的份额飙升至34.3%，距离超过三星仅一步之遥。要知道，三星在内存市场已经稳坐头把交椅30多年了。
然而，迭代的速度、大腿和新的打法意味着更大的变数。目前，三大厂商似乎已经分成了一两家或三家，但实际上他们都有自己的牌，这些牌正在慢慢露出冰山一角。
三巨头的牌
作为HBM的发明者和现在的第一名，SK海力士最大的优势显然是遥遥领先的技术力量。
为了彻底杀死游戏，SK海力士准备直接颠覆HBM的设计思路。它计划在2026年大规模生产HBM 4，并准备将HBM直接安装在GPU之上，并向真正的3D架构迈进。换句话说，SK海力士将把仓库建在厨房的正上方。
乍一看，HBM 4的设计思路似乎并不惊人。
毕竟，HBM最初的设计目的是缩短仓库和厨房之间的距离。那么简单地将仓库搬到楼上的厨房似乎是一个自然的选择。然而，现实并非如此简单。
以前，主要的内存制造商没有采用这种设计，因为他们无法解决散热问题:
在GPU顶部安装HBM后，数据传输的速度确实更快了，但芯片的功耗也会大大增加，产生更多的热能。如果不能及时散热，会大大降低芯片的工作效率，造成性能损失，颇有一种拆东墙补西墙的意味。
因此，要想实现HBM 4的设计，必须找到更好的散热方案。
目前，SK海力士可能已经找到了突破口；一旦成功登陆，对小伙伴们来说无疑是一个打击。
电脑组装网
SK海力士在京畿道的工厂。
当然，SK海力士的模式也有缺陷——它过于依赖台积电。
如上所述，HBM技术与台积电的先进包装紧密相关。但目前，台积电的产能跟不上市场需求，这给三星留下了第二个超越的机会。
三星不仅是内存市场最大的体量王，也是全球第二大晶圆代工厂。台积电有，三星基本上也有，包括先进的封装，但水平稍差。
早在2018年，三星就推出了用于对标台积电的I-Cube技术，该技术已在2021年发展到第四代。
目前，三星的I-Cube技术显然不如台积电的CoWoS，毕竟连三星自己都不需要它。然而，在台积电产能明显短缺之际，I-Cube技术成为三星赢得业务的一个武器。
SK海力士的老搭档AMD没能抵挡住“产能诱惑”，改变了阵营。据说NVIDIA有兴趣试水。毕竟，台积电的先进包装生产有限，扶持三星将有助于分散供应风险。
中关村手机网报价
三星的存储工厂
韩国人有自己的张。美国人有什么样的桥梯？
说实话，到现在为止，美光在HBM的战场上一直被动挨打，从未翻身。经过近几年的追赶，美光终于看到了先头部队的背影，但它只能跟着韩国人走。
看来，距离韩国人“统一记忆”的终极理想只差最后一步了。
然而，这显然是美国人不愿意看到的。目前，HBM的大部分主要客户都来自美国。虽然Micron落后了，但它可能不会完全出局。最新消息显示，NVIDIA刚刚从Micron订购了一批HBM 3。
此前，韩国人之所以能够在内存市场“百战百胜”，是因为竞争规则极其明确:即战斗力和成本。内卷化一直是韩国人的“舒适区”。毕竟，他们所有的血脉都是美国咖啡。
然而，HBM是一个不那么“东亚化”的行业。它面临着极其严峻的技术竞争和随时摇摆不定的大客户。更多的变数让韩国人无法牢牢占据铁王座。更何况，另一位股东的神秘力量也虎视眈眈。
夜很长，韩国人还是睡不着。
参考文章:
【1】HBM市场研究报告（2023年12月），TrendForce
【2】HBM已成为高端GPU的标准，充分受益于对人工智能服务器需求的增长，广发证券
【3】HBM条目，半维基invalid cd key怎么解决
【HBM会取代DDR成为计算机内存吗？余氏理论
【5】HB M4正在开发中，组织者着眼于更宽的2048位接口，Anandtech
【6】SK海力士，三星电子。《韩国经济日报》称，美国对HBM领先地位的争夺将在人工智能热潮中升级
【7】人工智能系统的HBM问题，半工程
【8】冯·诺依曼建筑，CSDN
【9】性能:来自冯·诺依曼的瓶颈，机器的心脏
【10】HBM加速DRAM从传统2D到3D的发展，方正证券。
编辑:陈彬
视觉设计:稀疏而清晰
责任编辑:陈彬
