生成式AI与大型语言模型的迅猛发展，正推动数据中心存储器架构进入新一轮转型。据美光透露，AI运算未来将由训练和推论两大需求驱动，而推论端对“高容量、低功耗与高密度”存储器的需求显著提升。过去主要用于移动设备的低功耗存储器（LPDRAM）正逐步进入服务器市场，未来3至4年其在服务器领域的增速将超过整体服务器市场。
美光近期推出了基于1γ制程的256GB SOCAMM2模块，主打高密度与低功耗设计，目标市场为AI推论和云端数据中心。该产品已于3月开始送样，预计2026年下半年正式上市。据美光介绍，中国台湾地区和日本是其重要的制造与生产据点，而中国台湾地区更是该产品的重要生产基地。
美光副总裁兼云端存储器事业部总经理Praveen Vaidyanathan指出，AI模型的演进正在推动数据中心架构的变革，并呈现出三大技术趋势。首先是专家混合模型（MoE），通过组合多个专门模型提升运算效率，同时降低不必要的负载，这对存储器带宽和数据传输效率提出了更高要求。其次是多模态AI，能够同时处理文字、影像、语音和视频等多类型数据，大幅增加数据吞吐量和存储器带宽需求，推动异构运算架构的普及。第三是代理式AI（Agentic AI），可自主规划并执行复杂任务，使AI运算从单次推论转向长时间持续运行，进一步提升数据中心对存储器容量和效率的需求。
Vaidyanathan强调，这些趋势使存储器技术发展的核心逐渐聚焦于带宽、功耗、容量和密度。而电力消耗正成为数据中心扩展AI算力的重要限制因素，这也让LPDRAM的重要性持续提升。
目前，LPDRAM正从传统的手机和移动设备市场扩展到数据中心应用。相比传统服务器使用的DDR RDIMM模块，LPDRAM具备三大优势：更低的功耗有助于降低数据中心的整体电力负载；更小的封装尺寸可在相同空间内配置更多存储器容量；同时，LPDRAM在满足AI推论对容量和带宽高要求的同时，还能有效控制能耗，非常适合AI推论工作负载。
尽管高带宽存储器（HBM）仍将在AI训练市场占据主导地位，但LPDRAM在AI推论市场的增速可能高于整体服务器存储器市场，成为AI推论服务器的重要选择之一。
美光表示，云端服务供应商和数据中心运营商已开始评估基于LPDRAM的高容量存储器模块，以降低功耗和机柜空间需求。公司还与NVIDIA合作，共同设计先进存储器解决方案，以满足AI基础架构的需求。
据美光介绍，已送样的256GB SOCAMM2模块相比前一代产品容量提升了三分之一，每颗8通道CPU可提供2TB的LPDRAM，能够支持更大的上下文窗口和复杂的推论工作负载。此外，SOCAMM2的功耗仅为同级RDIMM的三分之一，且仅占用三分之一的规格尺寸。与现有解决方案相比，该模块在KV快取卸载场景下，实时LLM推论中首个词元的生成时间可提升2.3倍。
