随着人工智能从学习阶段迈向推理阶段，从单一任务处理转向多代理协作，半导体行业的格局正在发生变化。据韩国科学技术院（KAIST）教授金祯浩在「E-Daily Next Tech Forum」上的发言，未来半导体架构将逐步转向以存储器为核心，韩国需要建立自己的存储器架构。
SK海力士先进存储器解决方案组长沈俊燮（音译）在同一场合指出，以NVIDIA旗舰GPU为例，从H100升级到H200，运算核心规格几乎没有变化，但HBM容量增加至141GB，带宽提升约40%，推理性能随之提升42%。这表明存储器已成为决定AI系统性能的关键因素。
AI推理正逐渐取代预训练成为主要战场，模型架构的差异不再是决定性因素，存储器的重要性进一步凸显。金祯浩提到，多代理架构的实际运作所需存储器可能是预估的8倍以上，各个环节都在消耗大量存储器资源。
NVIDIA正面临结构性挑战，GPU堆叠存在物理极限，散热问题和GPU之间的通信延迟使得单纯增加GPU数量反而降低效率。为此，NVIDIA计划打造自有存储器与存储生态系，通过数据处理单元（DPU）搭配ICMS架构，降低对SK海力士与三星的依赖。
金祯浩认为，韩国业界应把握机会，建立存储器自身的网络架构，让HBM、HBF和存储器模块通过高速界面如PCIe Gen 7直接互联，在存储器层面完成大部分AI推理运算。实验数据显示，采用这种架构后，大型模型推论吞吐量可提升近100倍。
目前，市场主流HBM采用2.5D封装架构，韩国业界正朝向真正的3D整合迈进，将处理器与存储器直接垂直堆叠，主动定义系统架构，推动新一波半导体革命。未来10年，“冷却”技术将成为区分半导体业者胜败的关键。
