Track Hyper | NVIDIA: In addition to Hynix, we also need Micron's HBM3E

作者：周源/华尔街见闻

英伟达下一代 AI 加速卡 B100（Blackwell 架构）的存储器规格，将采用 HBM3E。这种规格的存储器，目前只有 SK 海力士、三星电子和美光能提供。

华尔街见闻从供应链多个渠道独家获悉，几乎与 SK 海力士同时，美光也成为 B100 存储器供应商。目前三星电子还没进 B100 的存储器供应链。

根据此前供应链消息，B100 提前半年，将在今年二季度上市。

什么是 HBME？英伟达 B100 牛在何处？

B100 拉动 HBM3E 产能喷发

AI 服务器热潮带动了 AI 加速卡的需求。高频宽存储器 HBM 也成为 AI 加速卡（GPU）的关键 DRAM 模块。

据 Gartner 的预测报告，2023 年全球 HBM 营收规模约为 20.05 亿美元；预计到 2025 年，HBM 的市场规模将翻倍成长至 49.76 亿美元，增长率高达 148.2%。

目前，SK 海力士、三星、美光是全球仅有的三家 HBM 供应商。行业数据显示，2022 年 HBM 市场，SK 海力士占据 50% 的市场份额，三星占比 40%，美光占比 10%。

英伟达 H200 是首次采用 HBM3E 存储器规格的 AI 加速卡。HBM3E 使 GPU 存储器带宽从 H100 的每秒 3.35TB 扩展至 4.8TB，提高 1.4 倍，存储器总容量也从 H100 的 80GB 提高至 141GB，容量提高 1.8 倍。

此前有供应链消息称，英伟达原本预计在 2024 年第四季度推出的下一代 AI 加速卡 B100，目前将提前至 2024 年二季度推出。

据目前有限的信息显示，B100 采用台积电 3nm 工艺制程混合更复杂的多芯片模块（MCM）设计。英伟达在 AI GPU 市场占比了 80% 以上的市场份额，若 B100 能提前推出，则英伟达将进一步巩固在 AI 领域的领先优势。

2023 年下半年开始，SK 海力士、三星和美光这三家 HBM 供应商基本同步开启了 HBM3E 的测试，预计从 2024 年第一季度能实现批量供应。

华尔街见闻从供应链多个渠道独家获悉，美光和 SK 海力士一样，都已成为英伟达 B100 的存储器供应商，提供的产品均为 HBM3E。

美光 CEO Mehrotra 曾透露，美光专为 AI 和超级计算机设计的 HBM3E 预计 2024 年初量产，有望于 2024 会计年度创造数亿美元的营收。Mehrotra 还对分析师表示，“2024 年 1-12 月，美光 HBM 预估全数售罄”。

美光科技位于中国台湾地区的台中四厂于 2023 年 11 月初正式启用。美光表示，台中四厂将整合先进探测与封装测试功能，量产 HBM3E 及其他产品，从而满足人工智能、数据中心、边缘计算及云端等各类应用日益增长的需求。

HBM 全称 High Bandwidth Memory，直译高带宽内存，这是一种新型 CPU/GPU 内存芯片。从物理结构看，就是将很多个 DDR 芯片堆叠起来，再和 GPU 封装在一起，实现大容量、高位宽的 DDR 组合阵列。

一般来说，一张 AI 加速卡，物理结构是中间是 die 的 GPU，左右两侧的 die 是 DDR 颗粒的堆叠 HBM。

die，是指裸片，即将硅晶圆用激光切割而成的小片。die 是芯片还未封装前的晶粒，是硅晶圆上一个很小的单位。

Chip，即芯片，晶圆经过切割、测试，由完好的、稳定的、足容量的 die 封装而成，这是半导体元件产品的统称。

晶圆就是 wafer，这是制作硅半导体所用的硅晶片，原材料是硅，圆形。一般来说，晶圆的尺寸是 6 英寸、8 英寸或 12 英寸不等。可在晶圆上加工制作成各种电路元件结构，成为有特定功能的集成电路产品。

与 Hopper/Ada 架构不同，Blackwell 架构将扩展至数据中心（IDC）和消费级 GPU。B100 最大的技术变化在于底层架构很可能有重大调整：英伟达将采用新的封装技术，将 GPU 组件分成独立的芯片。

虽然具体芯片数量和配置尚未确定，但 MCM 的设计方式，将使得英伟达在定制芯片时具备更大的灵活性。

现在，还没有足够的信息显示英伟达 B100 采用的哪种 3nm 工艺。台积电相关工艺包括性能增强型 N3P 和面向 HPC（高性能计算：High performance computing）的 N3X；此外还包括 N3E 和 N3B，前者由联发科采用，后者则被苹果用于 A17 Pro 的定制。

HBM3E 应用和美光的布局

美光目前正在生产 HBM3E gen-2 内存，采用 8 层垂直堆叠的 24GB 芯片。美光的 12 层垂直堆叠 36GB 芯片将于 2024 年第一季度开始出样。这将与半导体代工运营商台积电合作，将其 Gen-2 HBM3E 用于人工智能和 HPC 设计应用。

HBM3E 是 HBM3 的扩展版本，内存容量 144GB，提供每秒 1.5TB 的带宽，相当于 1 秒能处理 230 部 5GB 大小的全高清电影。

作为一种更快、更大的内存，HBM3E 可加速生成式 AI 和大型语言模型，同时能推进 HPC 工作负载的科学计算。

2023 年 8 月 9 日，黄仁勋发布 GH200 Grace Hopper 超级芯片，这也是 HBM3E 的首次亮相。因此，GH200 Grace Hopper 成为全球首款 HBM3E GPU。

GH200 由 72 核 Grace CPU 和 4PFLOPS Hopper GPU 组成；每个 GPU 的容量达到 H100 GPU 的 1.7 倍，带宽达到 H100 的 1.55 倍。

与 H100 相比，GH20 系统共有 144 个 Grace CPU 核心、8PFLOPS 计算性能的 GPU、282GB HBM3E 内存，内存容量达 3.5 倍，带宽达 3 倍。若将连接到 CPU 的 LPDDR 内存包括在内，那么总共集成了 1.2TB 超快内存。

英伟达指出，内存带宽对于 HPC 应用程序至关重要，因为能实现更快的数据传输，减少复杂的处理瓶颈。对于模拟、科学研究和人工智能等内存密集型 HPC 应用，H200 更高的内存带宽可确保高效地访问和操作数据。与 CPU 相比，获得结果的时间最多可加快 110 倍。

TrendForce 集邦咨询研究指出，2023 年 HBM 市场主流为 HBM2e。英伟达 A100/A800、AMD MI200 以及多数 CSPs 自研加速芯片皆以此规格设计。

同时，为顺应 AI 加速器芯片需求演进，各原厂计划于 2024 年推出新产品 HBM3E，预期 HBM3 与 HBM3E 将成为 2024 年市场主流。2023 年主流需求自 HBM2e 转往 HBM3，需求比重分别预估约 50% 和 39%。

随着使用 HBM3 的加速芯片陆续放量，2024 年市场需求将大幅转往 HBM3；2024 年将直接超越 HBM2e，比重预估达 60%；同时，受惠于更高的平均销售单价（ASP），将带动 2024 年 HBM 营收显著成长。

TrendForce 集邦咨询此前预估，由于 HBM3 平均销售单价远高于 HBM2e 与 HBM2，故将助力原厂 HBM 领域营收，可望进一步带动 2024 年整体 HBM 营收至 89 亿美元，年增 127%。

据 Semiconductor-Digest 预测，到 2031 年，全球高带宽存储器市场预计将从 2022 年的 2.93 亿美元增长到 34.34 亿美元，在 2023-2031 年的预测期内复合年增长率为 31.3%。

由于 HBM 是与 GPU 封装在一起的，因此 HBM 的封装通常由晶圆代工厂完成。HBM 大概率会成为下一代 DRAM 高性能解决方案，为快速发展的数据中心及云计算人工智能提供更高的 AI/ML 性能与效率。

尽管美光在 HBM 市场的占比仅约 10%，但美光正在加速推进更新的 HBM4 和 HBM4e 研发，这比 SK 海力士跑的更快。

为提高内存传输速率，下一代 HBM4 可能要对高带宽内存技术做出更实质性的改变，即从更宽的 2048 位内存接口开始，故而 HBM4 会在多个层面上实现重大技术飞跃。

美光公司在 2023 年曾表示，“HBM Next”（即 HBM4）内存将于 2026 年左右面世，每堆栈容量介于 36 GB-64 GB，每堆栈峰值带宽为 2TB/s 或更高。