研报丨大型云端业者积极建置AI 服务器，加速推升AI芯片与HBM需求，预估2024年先进封装产能将提升3~4成

Jun.21 2023

产业洞察

根据TrendForce集邦咨询研究指出，2023年ChatBOT等生成式AI应用带动AI服务器成长热潮，又以大型云端业者最积极投入，包含Microsoft、Google、AWS或其他中系业者如Baidu、ByteDance等陆续采购高端AI服务器，以持续训练及优化其AI分析模型。高端AI服务器需采用的高端AI芯片，将推升2023-2024年高带宽存储器（HBM）的需求，并将驱动先进封装产能2024年成长3-4成。

TrendForce集邦咨询指出，为提升整体AI服务器的系统运算效能，以及存储器传输带宽等，NVIDIA、AMD、Intel等高端AI芯片中大多选择搭载HBM。目前NVIDIA的A100及H100，各搭载达80GB的HBM2e及HBM3，在其最新整合CPU及GPU的Grace Hopper芯片中，单颗芯片HBM搭载容量再提升20%，达96GB。另外，AMD的MI300也搭配HBM3，其中，MI300A容量与前一代相同为128GB，更高端MI300X则达192GB，提升了50%。同时预期Google将于2023年下半年积极扩大与Broadcom合作开发AISC AI加速芯片TPU亦采搭载HBM存储器，以扩建AI基础设施。

TrendForce集邦咨询预估，2023年市场上主要搭载HBM的AI加速芯片(如NVIDIA的H100及A100、AMD的MI200及MI300及Google的TPU等），搭载HBM总容量将达2.9亿GB，成长率近6成，2024年将持续成长3成以上。

此外，AI及HPC等芯片对先进封装技术的需求日益提升，其中，以TSMC的CoWoS为目前AI 服务器芯片主力采用者。CoWoS封装技术主要分为CoW和oS两段，其中，CoW主要整合各种Logic IC（如CPU、GPU、AISC等）及HBM存储器等，另外，oS部分则将上述CoW以凸块（Solder Bump）等接合，封装在基板上，最后再整合到PCBA，成为服务器主机板的主要运算单元，与其他零部件如网络、储存、电源供应单元(PSU)及其他I/O等组成完整的AI 服务器系统。

TrendForce集邦咨询观察，估计在高端AI芯片及HBM强烈需求下，TSMC于2023年底CoWoS月产能有望达12K，其中，NVIDIA在A100及H100等相关AI Server需求带动下，对CoWoS产能较年初需求量，估提升近5成，加上AMD、Google等高端AI芯片需求成长下，将使下半年CoWoS产能较为紧迫，而此强劲需求将延续至2024年，预估若在相关设备齐备下，先进封装产能将再成长3-4成。

TrendForce集邦咨询指出，值得注意的是，在AI较急促需求下，无论是HBM或CoWoS生产过程中，得后续观察周边配套措施，例如硅通孔封装技术（TSV）、中介层电路板（Interposer）以及相关设备（如湿制程设备）等是否能到位，如前置时间（Lead Time）等考量。而在AI强劲需求持续下，估NVIDIA针对CoWoS相关制程，亦不排除将评估其他类似先进封装外援，例如Amkor或Samsung等，以应对可能供不应求的情形。

注：

本文高端AI Server指搭载高端AI芯片的Sever设备，针对如大型CSPs或HPC等AI模型训练应用，高端AI芯片包含如NVIDIA的A100或H100，或AMD的MI200、MI300，或Intel的Max GPU等。

Samsung主力先进封装技术为Cube系列，如I-Cube、H-Cube、X-Cube等；Amkor先进封装技术涵盖晶圆级封装(WLP)、覆晶封装、系统级封装等。

PS:当您需要在报道中引用TrendForce集邦咨询提供的研报内容或分析资料，请注明资料来源为TrendForce集邦咨询。

近期文章精选TrendForce

TrendForce集邦咨询是一家横跨存储、集成电路与半导体、晶圆代工、光电显示、LED、新能源、智能终端、5G与通讯网络、汽车电子和人工智能等领域的全球高科技产业研究机构。公司在行业研究、政府产业发展规划、项目评估与可行性分析、企业咨询与战略规划、品牌营销等方面积累了多年的丰富经验，是政企客户在高科技领域进行产业分析、规划评估、顾问咨询、品牌宣传的优质合作伙伴。

TrendForce is a global high-tech industry research institution. Its research scope covers memory, IC and semiconductors, foundry, optoelectronic display, LED, new energy, smart terminals, 5G and communication networks, automotive electronics, as well as AI.With rich experience in industry research, government industry development planning, project feasibility analysis, corporate consulting and brand marketing, TrendForce is a quality partner for government and enterprise clients to conduct industrial analysis, planning evaluation, consulting and brand promotion in high-tech field.

△ 向上滑动查看