发布日期：2024-10-11 16:46 点击次数：128
笔据GPU Utils的推测，保守意象，英伟达GPU潜在订单总数可能跳动200亿好意思元蝴蝶谷中文网，旗舰GPU H100的供给缺口高达43万张。
英伟达CEO黄仁勋也直言：
“咱们咫尺的出货量远远不成知足需求。”老黄的苦楚，就在于卡住英伟达脖子的两项关节时刻——CoWoS封装和HBM内存。
SK海力士和台积电 卡英伟达脖子的幕后玩家
前年9月推出的H100，是英伟达家具矩阵中起原进的GPU。
相较于前任A100，它的价钱翻了1.5-2倍控制，但性能却有了质的飞跃：推理速率普及3.5倍，在检修速率普及2.3倍；淌若用伺服器猬集运算的格式，检修速率更是能提高到9倍。在LLM检修中，它能让本来一个星期的职责量，镌汰为20个小时。
一块英伟达H100，主要由三个部分组成：中心的H100裸片两侧各有三个HBM堆栈，最外层则是台积电的2.5D CoWoS封装框。
三个部件里，中枢的逻辑芯片供应是最浅薄的，它主要产自台积电台南18号工场，使用4N工艺节点（实质是5nm+）。由于5nm+卑劣的PC、智高东谈主机和非AI干统统据中心芯片阛阓疲软，咫尺台积电5nm+产能诈欺率不到70%。因此逻辑芯片供应莫得问题。
英伟达最主要的供应缺口，来自逻辑芯片两侧的6块HBM（High Bandwidth Memory，高带宽内存），和把逻辑芯片、HBM邻接起来的CoWoS封装（Chip on wafer on Substrate，芯片、晶圆、基板封装）。
HBM是一种基于3D堆叠工艺的DRAM内存芯片。当时刻旨趣，等于将多个DDR芯片，垂直堆叠在沿途，通过硅通孔（TSV）和微凸块（μBmps）时刻，把芯片相互邻接，从而冲破了现存的性能截至，大大提高了存储容量，闭幕更高带宽、更高位宽、更低功耗、更小尺寸的DDR组合阵列。
内存芯片对GPU性能至关伏击，尤其是检修AI所用的高性能GPU。推理和检修职责负载是内存密集型任务。跟着AI模子中参数数目的指数级增长，仅权重一项就将模子大小推高到了TB级。因此，从内存中存储和检索检修和推理数据的才调决定了GPU性能的上限。AI大模子和应用越多，越成心于HBM制造商。
从全体HBM阛阓来看，两大韩国存储巨头SK海力士及三星占十足操纵地位，二者盘算推算市占率在90%控制。
英伟达H100上头使用的HBM3由SK海力士独家供应，这是咫尺起原进的HBM家具。
HBM3工艺复杂、成本激昂、产能有限，2022年，在通盘这个词HBM阛阓中，HBM3仅占约8%的阛阓份额。动作人人独一有才调量产HBM3的公司，SK海力士紧紧卡住了英伟达H100的脖子；而前代 A100/A800以及AMD的MI200使用的则是过时一代的HBM2E时刻。
不外，现时存储芯片业界正处于HBM2E向HBM3换代的经由中。据Trendforce数据，展望到2024年，HBM3市占率将跳动60%，三星、好意思光等存储芯片厂王人在积极布局，王人对SK海力士的阛阓份额虎视眈眈。
而先进封装则是一项与HBM内存相得益彰的时刻——要用HBM堆栈，必须用先进封装把内存和GPU邻接起来。
H100上使用的台积电CoWoS先进封装，是一项2.5D封装时刻。
主流的2D封装有筹备，是在基板（Substrate）的名义水祥瑞装通盘芯片和无源器件的集成格式，雷同于平面的拼图。
而2.5D先进封装，则不错类比为横向陈列的积木。多层DDR芯片堆叠的HBM堆栈，必须依赖先进封装才颐养散。
台积电的CoWoS先进封装有筹备，由CoW和oS组合而来：先将芯片通过Chip on Wafer（CoW）的封装制程邻接至硅晶圆，再把CoW芯片与基板邻接（on Substrate），整合成CoWoS。
CoWoS时刻大大提高了互联密度以及数据传输带宽，同期闲逸了封装尺寸，但工艺也相配复杂，因此主要用于高端阛阓。
据媒体报谈，咫尺台积电CoWoS封装月产8000片，本年底有望普及至11000片，2024年底有望闭幕14500至16600片控制的月产能，也等于说，想要普及一倍的产量，险些需要一年半的时候。
摩尔定律见顶 先进封装将成为主流
雷同HBM这么以多块芯片堆叠、再通过先进封装粘合起来的科罚有筹备，已成为咫尺阛阓上高端芯片的主流瞎想念念路。
背后的原因很浅薄：先进制程咫尺照旧迭代到7nm、5nm、3nm，时刻节点越来越小，坐褥时刻与制造工序越来越复杂，集成电路制造建树的成本过问也就越来越高。
以5nm及更小的制程为例。在这一阶段，受波长截至，平方光刻机的精度已无法知足工艺条件，企业必须转向腾贵的EUV光刻机，一台的售价就高达14亿东谈主民币。
再加上刻蚀和薄膜千里积等建树，5nm制程的建树开销可达31亿好意思元，是14nm的2倍以上，28nm的4倍控制。
为了成本效益，芯片制造商只可别具肺肠，从单纯制程工艺的普及，转向通过系统级芯片瞎想，来普及晶体管密度和性能。
另一方面，夙昔10年人人数据运算量爆炸式增长，已超过夙昔40年总和。跟着浮滥电子与车用芯片的需求日益提高，就算芯片制程能达到摩尔定律表面上的物理极限（1nm），仍然无法知足畴昔产业应用的需求。
而先进封装，因为能同期提高家具质能和控制成本，是以成了后摩尔时间的破局解法。
生成式AI催生的众多需求，照旧在加快传统封装向先进封装的迭代。
摩根士丹利指出，AI波浪正在鼓吹2.5D和3D先进封装时刻的大界限应用，到2030年，先进封装将占据通盘这个词封装阛阓60%以上的份额。
据Future Market Insights测算，现时界限约310亿好意思元的先进封装阛阓，将在畴昔十年内以7.2%的CAGR不休彭胀。
摩根士丹利分析师还指出，由于AI芯片增长超显耀预期，因此3D/2.5D先进封装展望将以极快的速率增长。2021-2028年的CAGR将达到22%控制。
卡英伟达脖子的厂商照旧赚翻了
HBM内存和先进封装界限的两大龙头——SK海力士和台积电，咫尺照旧尝到了甜头。
TrendForce数据走漏，尽管在浮滥电子阛阓低迷影响下，内存芯片阛阓出货量和平均销售单价均出现下滑，但HBM家具却在逆势增长，价钱一齐水长船高。
有媒体报谈称，2023年开年后三星、SK海力士两家存储大厂HBM订单快速增多。SK海力士独家供应的HBM3价钱更是飞腾5倍。动作本来单元售价就远高于其他规格内存芯片的高毛利家具，HBM3利润之丰厚号称恐怖。TrendForce展望，AI波浪带动下，2024年全体HBM营收将达到89亿好意思元，年增127%。
与此同期，跟着英伟达H100、AMD MI300的热销，台积电先进封装雷同供不应求。
摩根士丹利分析师示意：
笔据咱们的代工场供应链检查，单个CoWoS-S晶圆（及干系工艺）的售价为6，000-12，000好意思元，具体取决于客户/项主意界限和瞎想复杂性。笔据台积电在Q2财报会议上公开的信息，展望2023年总收入的6-7%将来自先进封装和测试。咱们意象CoWoS本年可能为台积电孝顺约10亿好意思元的收入。由于台积电不休加码CoWoS产能（笔据台积电Q2财报电话会上提供的数据，产能将在2024年翻一番），以及现时壮健的AI芯片需求蝴蝶谷中文网，这一数字可能会进一步增长。因此，咱们展望2023-2027年台积电CoWoS收入的CAGR将达到40%。