强强联合！美光携手台积电攻AI

人工智能（AI）热潮横空出世，HBM成为国际存储器大厂的兵家必争之地。面对韩系存储器大厂抢得AI先机，美光（Micron）急起直追，宣布业界首款第二代8层堆叠（8-High）24GB HBM3开始送样，并与台积电在中介层（Interposer）进行密切合作，结合直通矽晶穿孔（TSV）技术与DRAM多层堆叠，DRAM将采用美光1β节点在日本厂生产制造，并于台湾完成先进封装制程，预计于2024年第1季开始出货，HBM3量产大战将进入白热化阶段。

美光指出，AI服务器对于存储器的需求，将是一般服务器搭载的6~8倍，预计2022~2025年HBM位元成长率将超过50%，透过HBM才能支持AI成长，而服务器基础架构的发展中，将有三大面向成为关键，分别是效能、容量和功耗。

尽管美光目前全球HBM市占率排名落后，但AI驱动HBM需求爆发，美光积极展现弯道超车企图心。美光最新发表的首款第二代8层堆叠24GB HBM3，其带宽达到1.2TB/s以上，每脚位传输速率超过9.2Gb/s，较目前市场HBM3解决方案高出50%。

美光指出，第二代HBM3的每瓦效能较前几代产品提升2.5 倍，刷新AI数据中心关键效能、容量及功耗指标。这些改进将能缩短业界训练GPT-4等大型语言模型（LLM）及其更高端版本所需时间。

例如相较于原本服务器需要花3个月才能训练大型语言模型，第二代HBM3将可降低30%时间，相当于缩短至2个月，而带宽大幅提升后，AI训练查询的时间缩短，将能帮助AI推论所需的基础硬件架构发挥最佳功效，进而提供卓越的总体拥有成本（TCO）。

据估计，提升每瓦效能将能省下AI数据中心的营运费用，若以装设1,000万颗GPU计算，每组堆叠节能5瓦，将能在5年内省下多达5.5亿美元的营运成本。

第二代HBM3为美光1β制程节点的第三个问世产品，先前曾在手机应用的LPDDR5及服务器存储器的DDR5推出。美光表示，除了在业界标准封装尺寸内，将24GB的晶粒组装为8层DRAM堆叠的立方体，未来12层堆叠（12-High）的36GB HBM3也将于2024年第1季开始送样。

透过此堆叠高度，美光将能提供比其他竞品高出50%的容量，也比现行HBM3多出1倍的TSV数量，并以5倍金属密度减少热阻抗，采用高能效的数据路径设计，由于最底层的DRAM堆叠温度最热，在顶层晶粒则较为冷却，美光表示，最大的挑战就是能在多快时间内，将高温传送到较冷的那层，并排到系统之外，达到降低热阻抗的目标。

随着美光成为台积电3DFabric联盟的合作夥伴，美光强调将与台积电携手合作。针对第二代HBM3产品的研发中，美光表示，与台积电的合作是将不同元件组合在同一个封装内，并与客户一起开发整合项目，目前台积电已收到美光第二代HBM3样品，且双方将进行进一步的评估和测试，可望助力客户在次时代高效能运算应用创新。

美光进一步解释，双方合作涵盖TSV和DRAM堆叠，由台积电提供中介层制程，虽然美光计划自行打造封装制程，但由于整个设计过程不能各自为政，透过与台积电携手合作，将能让制程更为一致性，使得中介层、GPU、存储器或ASIC等都能完美整合。

美光已将第二代HBM3样品交给多个客户，包括GPU、数据中心、ASIC等客户已进行测试验证，预期在完成测试后，最快于2024年第1季出货。NVIDIA 超大规模与高效能运算副总裁Ian Buck表示，过去与美光在广泛产品领域的合作已行之有年，未来也渴望能在第二代HBM3持续合作。