据The Circuit Podcast采访报道，美光核心数据中心业务部资深副总裁兼总经理Jeremy Werner表示，存储器在数据中心推理环节中已成为突破瓶颈的关键。他指出，存储器不足会导致GPU算力利用率急剧下降，而提供足够快、容量大的存储器，理论上可让GPU算力倍增。
Werner强调，推理任务对存储器需求尤为特殊。推理过程分为预填充和解码两阶段，其中解码阶段需调用此前运算结果（KV快取）。随着上下文长度每年以30倍速度增长，存储器需求也大幅膨胀。若存储器容量不足，模型需重新运算，导致算力需求呈指数级增长。
在存储器技术方面，美光推出HBM4与245TB SSD两大创新产品。HBM4带宽是上一代HBM3E的两倍以上，能有效缓解存储器带宽瓶颈。而245TB SSD则显著减少数据中心设备数量，压缩存储占地面积超80%，并大幅降低功耗。
Werner还详细解析了AI数据中心的存储层级结构。从紧贴GPU的HBM到海量SSD数据湖，构成了一条完整的“存储链”。其中，HBM速度最快但容量有限，而SSD虽延迟较高，但容量可达HBM的1000倍。
面对存储器产能不足的问题，Werner坦言，美光正推进全球5座晶圆厂建设，包括爱达荷州、纽约州、弗吉尼亚州、新加坡及日本的设施，同时在中国台湾地区收购了一座晶圆厂。然而，无尘室空间限制使得存储器产业短期内难以满足需求。
Werner总结称，存储器技术的进步不仅关乎容量和速度，更是应对AI时代算力需求的核心。从HBM到SSD的完整存储链，正为数据中心提供高效解决方案。
