谁卡了英伟达的脖子?

英伟达最新季度财报公布后,不仅AMD沉默英特尔流泪,做过长时间心理建设的分析师也没想到真实情况如此超预期。

更可怕的是,英伟达同比暴涨854%的收入,很大程度上是因为“只能卖这么多”,而不是“卖出去了这么多”。一大堆“初创公司拿H100抵押贷款”的小作文背后,反应的是H100 GPU供应紧张的事实。

如果缺货继续延续到今年年底,英伟达的业绩恐怕会更加震撼。

H100的短缺不禁让人想起几年前,GPU因为加密货币暴涨导致缺货,英伟达被游戏玩家骂得狗血淋头。不过当年的显卡缺货很大程度上是因为不合理的溢价,H100的缺货却是产能实在有限,加价也买不到。

换句话说,英伟达还是赚少了。

在财报发布当天的电话会议上,“产能”理所当然地成为了最高频词汇。对此,英伟达措辞严谨,不该背的锅坚决不背:

“市场份额方面,不是仅靠我们就可以获得的,这需要跨越许多不同的供应商。”

实际上,英伟达所说的“许多不同的供应商”,算来算去也就两家:

SK海力士和台积电。

HBM :韩国人的游戏

如果只看面积占比,一颗H100芯片,属于英伟达的部分只有50%左右。

在芯片剖面图中,H100裸片占据核心位置,两边各有三个HBM堆栈,加起面积与H100裸片相当。

这六颗平平无奇的内存芯片,就是H100供应短缺的罪魁祸首之一。

HBM(High Bandwidth Memory)直译过来叫高宽带内存,在GPU中承担一部分存储器之职。

和传统的DDR内存不同,HBM本质上是将多个DRAM内存在垂直方向堆叠,这样既增加了内存容量,又能很好的控制内存的功耗和芯片面积,减少在封装内部占用的空间。

“堆叠式内存”原本瞄准的是对芯片面积和发热非常敏感的智能手机市场,但问题是,由于生产成本太高,智能手机最终选择了性价比更高的LPDDR路线,导致堆叠式内存空有技术储备,却找不到落地场景。

直到2015年,市场份额节节败退的AMD希望借助4K游戏的普及,抄一波英伟达的后路。

在当年发布的AMD Fiji系列GPU中,AMD采用了与SK海力士联合研发的堆叠式内存,并将其命名为HBM(High Bandwidth Memory)。

AMD的设想是,4K游戏需要更大的数据吞吐效率,HBM内存高带宽的优势就能体现出来。当时AMD的Radeon R9 Fury X显卡,也的确在纸面性能上压了英伟达Kepler架构新品一头。

但问题是,HBM带来的带宽提升,显然难以抵消其本身的高成本,因此也未得到普及。

直到2016年,AlphaGo横扫冠军棋手李世石,深度学习横空出世,让HBM内存一下有了用武之地。

深度学习的核心在于通过海量数据训练模型,确定函数中的参数,在决策中带入实际数据得到最终的解。

理论上来说,数据量越大得到的函数参数越可靠,这就让AI训练对数据吞吐量及数据传输的延迟性有了一种近乎病态的追求,而这恰恰是HBM内存解决的问题。

2017年,AlphaGo再战柯洁,芯片换成了Google自家研发的TPU。在芯片设计上,从第二代开始的每一代TPU,都采用了HBM的设计。英伟达针对数据中心和深度学习的新款GPU Tesla P100,搭载了第二代HBM内存(HBM2)。

随着高性能计算市场的GPU芯片几乎都配备了HBM内存,存储巨头们围绕HBM的竞争也迅速展开。

目前,全球能够量产HBM的仅有存储器三大巨头:SK海力士、三星电子、美光。

SK海力士是HBM发明者之一,是目前唯一量产HBM3E(第三代HBM)的厂商;三星电子以HBM2(第二代HBM)入局,是英伟达首款采用HBM的GPU的供应商;美光最落后,2018年才从HMC转向HBM路线,2020年年中才开始量产HBM2。

其中,SK海力士独占HBM 50%市场份额,而其独家供应给英伟达的HBM3E,更是牢牢卡住了H100的出货量:

H100 PCIe和SXM版本均用了5个HBM堆栈,H100S SXM版本可达到6个,英伟达力推的H100 NVL版本更是达到了12个。按照研究机构的拆解,单颗16GB的HBM堆栈,成本就高达240美元。那么H100 NVL单单内存芯片的成本,就将近3000美元。

成本还是小问题,考虑到与H100直接竞争的谷歌TPU v5和AMD MI300即将量产,后两者同样将采用HBM3E,陈能更加捉襟见肘。

面对激增的需求,据说SK海力士已定下产能翻番的小目标,着手扩建产线,三星和美光也对HBM3E摩拳擦掌,但在半导体产业,扩建产线从来不是一蹴而就的。

按照9-12个月的周期乐观预计,HBM3E产能至少也得到明年第二季度才能得到补充。

另外,就算解决了HBM的产能,H100能供应多少,还得看台积电的脸色。

CoWoS:台积电的宝刀

分析师Robert Castellano不久前做了一个测算,H100采用了台积电4N工艺(5nm)生产,一片4N工艺的12寸晶圆价格为13400美元,理论上可以切割86颗H100芯片。

如果不考虑生产良率,那么每生产一颗H100,台积电就能获得155美元的收入[6]。

但实际上,每颗H100给台积电带来的收入很可能超过1000美元,原因就在于H100采用了台积电的CoWoS封装技术,通过封装带来的收入高达723美元[6]。

每一颗H100从台积电十八厂的N4/N5产线上下来,都会运往同在园区内的台积电先进封测二厂,完成H100制造中最为特别、也至关重要的一步——CoWoS。

要理解CoWoS封装的重要性,依然要从H100的芯片设计讲起。

在消费级GPU产品中,内存芯片一般都封装在GPU核心的外围,通过PCB板之间的电路传递信号。

比如下图中同属英伟达出品的RTX4090芯片,GPU核心和GDDR内存都是分开封装再拼到一块PCB板上,彼此独立。

GPU和CPU都遵循着冯·诺依曼架构,其核心在于“存算分离”——即芯片处理数据时,需要从外部的内存中调取数据,计算完成后再传输到内存中,一来一回,都会造成计算的延迟。同时,数据传输的“数量”也会因此受限制。

可以将GPU和内存的关系比作上海的浦东和浦西,两地间的物资(数据)运输需要依赖南浦大桥,南浦大桥的运载量决定了物资运输的效率,这个运载量就是内存带宽,它决定了数据传输的速度,也间接影响着GPU的计算速度。

1980年到2000年,GPU和内存的“速度失配”以每年50%的速率增加。也就是说,就算修了龙耀路隧道和上中路隧道,也无法满足浦东浦西两地物资运输的增长,这就导致高性能计算场景下,带宽成为了越来越明显的瓶颈。

CPU/GPU性能与内存性能之间的差距正在拉大

2015年,AMD在应用HBM内存的同时,也针对数据传输采用了一种创新的解决方案:把浦东和浦西拼起来。

简单来说,2015年的Fiji架构显卡,将HBM内存和GPU核心“缝合”在了一起,把几块小芯片变成了一整块大芯片。这样,数据吞吐效率就成倍提高。

不过如上文所述,由于成本和技术问题,AMD的Fiji架构并没有让市场买账。但深度学习的爆发以及AI训练对数据吞吐效率不计成本的追求,让“芯片缝合”有了用武之地。

另外,AMD的思路固然好,但也带来了一个新问题——无论HBM有多少优势,它都必须和“缝芯片”的先进封装技术配合,两者唇齿相依。

如果说HBM内存还能货比三家,那么“缝芯片”所用的先进封装,看来看去就只有台积电一家能做。

CoWoS是台积电先进封装事业的起点,英伟达则是第一个采用这一技术的芯片公司。

CoWoS由CoW和oS组合而来:CoW表示Chip on Wafer,指裸片在晶圆上被拼装的过程,oS表示on Substrate,指在基板上被封装的过程。

传统封装一般只有oS环节,一般在代工厂完成晶圆制造后,交给第三方封测厂解决,但先进封装增加的CoW环节,就不是封测厂能解决的了的。

以一颗完整的H100芯片为例,H100的裸片周围分布了多个HBM堆栈,通过CoW技术拼接在一起。但不只是拼接而已,还要同时实现裸片和堆栈间的通信。

台积电的CoW区别于其他先进封装的亮点在于,是将裸片和堆栈放在一个硅中介层(本质是一块晶圆)上,在中介层中做互联通道,实现裸片和堆栈的通信。

类似的还有英特尔的EMIB,区别在于通过硅桥实现互联。但带宽远不及硅中介层,考虑到带宽与数据传输速率息息相关,CoWoS便成了H100的唯一选择。

这便是卡住H100产能的另一只手。

虽然CoWoS效果逆天,但4000-6000美元/片的天价还是拦住了不少人,其中就包括富可敌国的苹果。因此,台积电预备的产能相当有限。

然而,AI浪潮突然爆发,供需平衡瞬间被打破。

早在6月就有传言称,今年英伟达对CoWoS的需求已经达到4.5万片晶圆,而台积电年初的预估是3万片,再加上其他客户的需求,产能缺口超过了20%。

为了弥补缺口,台积电的阵仗不可谓不大。

6月,台积电正式启用同在南科的先进封测六厂,光无尘室就比其余封测厂的加起来还大,并承诺逐季增加CoWoS产能,为此将部分oS外包给第三方封测厂。

但正如HBM扩产不易,台积电扩产也需要时间。目前,部分封装设备、零组件交期在3-6个月不等,到年底前,新产能能开出多少仍是未知。

不存在的Plan B

面对H100的结构性紧缺,英伟达也不是完全没有Plan B。

在财报发布后的电话会议上,英伟达就透露,CoWoS产能已经有其他供应商参与认证。虽然没说具体是谁,但考虑到先进封装的技术门槛,除了台积电,也就只有英特尔先天不足的EMIB、三星开发了很久一直等不来客户的I-Cube能勉强救火。

但核心技术更换如同阵前换将,随着AMD MI300即将量产出货,AI芯片竞争白热化,是否能和英特尔和三星的技术磨合到位,恐怕黄仁勋自己心理也是惴惴。

比黄仁勋更着急的可能是买不到H100的云服务厂商与AI初创公司。毕竟游戏玩家抢不到显卡,也就是游戏帧数少了20帧;大公司抢不到H100,很可能就丢掉了几十亿的收入和上百亿的估值。

需要H100的公司主要有三类:微软、亚马逊这类云服务商;Anthropic、OpenAI这些初创公司;以及特斯拉这类大型科技公司,特斯拉的新版本FSD方案就用了10000块H100组成的GPU集群来训练。

这还没算上Citadel这类金融公司,以及买不到特供版H800的中国公司。

根据GPU Utils的测算[7],保守估计,目前H100的供给缺口达到43万张。

虽然H100存在理论上的替代方案,但在实际情况下都缺乏可行性。

比如H100的前代产品A100,价格只有H100的1/3左右。但问题是,H100的性能比A100强了太多,导致H100单位成本的算力比A100高。考虑到科技公司都是成百上千张起购,买A100反而更亏。

AMD是另一个替代方案,而且纸面性能和H100相差无几。但由于英伟达CUDA生态的壁垒,采用AMD的GPU很可能让开发周期变得更长,而采用H100的竞争对手很可能就因为这点时间差,和自己拉开了差距,甚至上亿美元的投资血本无归。

种种原因导致,一颗整体物料成本3000美元的芯片,英伟达直接加个零卖,大家居然都抢着买。这可能是黄仁勋自己也没想到的。

而在HBM与CoWoS产能改善之前,买到H100的方法可能就只剩下了一种:

等那些靠吹牛逼融到钱买了一堆H100的初创公司破产,然后接盘他们的二手GPU。

参考资料

[1] AI Capacity Constraints - CoWoS and HBM Supply Chain,SemiAnalysis

[2] 原厂积极扩产,预估2024年HBM位元供给年成长率105%,TrendForce

[3] HBM技术会给数据中心带来怎样的变化?半导体产业纵横

[4] 先进封装第二部分:英特尔、台积电、三星、AMD、日月光、索尼、美光、SKHynix、YMTC、特斯拉和英伟达的选项/使用回顾,Semianalysis

[5] OpenAI联合创始人兼职科学家Andrej Karpathy推文

[6] Taiwan Semiconductor: Significantly Undervalued As Chip And Package Supplier To Nvidia,SeekingAlpha

[7] Nvidia H100 GPUs: Supply and Demand,GPU Utils

编辑:李墨天

视觉设计:疏睿

责任编辑:李墨天