页面加载中,请稍候
来源:拓墣产业研究发布时间:2023-01-192380浏览
询问 AI在过去,我们都习惯于以八为单位处理系统内存。随着容量的增加,它遵循一个可预测的二进制尺度,从 8GB 到 16GB 再到 32GB 等等。但随着数据中心引入 DDR5 和非二进制内存,所有这一切都在发生变化。
DDR5 不是直接从 32GB DIMM 跳到 64GB DIMM,而是第一次允许内存密度增加半步。您现在可以拥有 24GB、48GB、96GB 或更大容量的 DIMM。
这些 DIMM 提供的额外灵活性最终可能会降低系统成本,因为客户不再被迫购买比他们需要更多的内存来满足他们的工作负载。
非二进制内存到底是什么?
非二进制内存实际上并没有那么特别。非二进制内存与标准 DDR5 的不同之处在于用于制造 DIMM 的芯片。
非二进制 DIMM 使用 24Gb DRAM 芯片,而不是当今大多数 DDR5 内存上的 16Gb(即千兆位)模块。取 20 个这样的芯片并将它们烘烤到 DIMM 上,在考虑 ECC 和元数据存储后,您还剩下 48GB 的可用内存。
根据 Micron 高级业务开发经理 Brian Drake 的说法,在您通常被迫求助于高级封装技术之前,您通常可以在 DIMM 上获得大约 96GB 的内存。
使用硅通孔 (TSV) 或双芯片封装,DRAM 内存供应商可以实现更高的密度。例如,使用三星的八层TSV 工艺,该芯片制造商可以实现每个 DRAM 模块高达 24GB 的密度,每个 DIMM 达到 768GB。
迄今为止,包括三星、SK-Hynix 和美光在内的所有主要内存供应商都已发布用于非二进制 DIMM 的 24Gb 模块。
成本问题
可以说,非二进制内存背后的最大卖点归结为成本和灵活性。
CCS Insights 分析师 Wayne Lam 告诉The Register,“对于典型的数据中心,内存成本非常高,甚至可能高于计算成本。”
正如The Next Platform今年早些时候报道的那样,内存占服务器成本的比例高达 14%。而在云中,一些行业权威人士认为这个数字接近 50%。
“DRAM 容量翻倍——从 32GB 到 64GB 再到 128GB——现在会导致成本大幅增加。每比特的成本相当稳定,因此,如果你继续翻倍,成本增量就会变得非常昂贵,”Lam 解释道。“从 32GB 到 48GB 再到 64GB 和 96GB 提供了更温和的价格增量。”
以这个实验为例:
假设您的工作负载受益于 3GB/线程。使用一个基于 AMD Epyc 4 的 96 核系统,每个通道一个 DIMM,您至少需要 576GB 的内存。但是,32GB 的 DIMM 会给您留下 192GB 的空间,而 64GB 的 DIMM 会给您留下同样多的剩余空间。您可以减少到 10 个通道并更接近您的目标,但随后您将对内存带宽造成影响并为此特权支付额外费用。随着规模的扩大,这个问题只会变得更糟。
在每通道两个 DIMM 配置中——我们会注意到 AMD 在 Epyc 4 发布时不支持这一点——你可以使用混合容量 DIMM 来缩小理想的内存与核心比率,但正如 Drake 所指出的出来,这不是一个完美的解决方案。
“也许系统必须降低每通道两个 DIMM 解决方案的时钟频率,因此它无法运行最大数据速率。或者每个通道中的排列不均匀可能会对性能产生影响,”他说。
相比之下,48GB DIMM 几乎肯定会成本更低,同时允许您在不牺牲带宽的情况下达到理想的内存与核心比率。正如我们过去谈到的那样,内存带宽非常重要,因为芯片制造商继续将其芯片的核心数量推得更高。
根据您的需要,微积分看起来会有所不同,但归根结底,非二进制内存为平衡成本、容量和带宽提供了更大的灵活性。
德雷克说,使用非二进制 DIMM 实际上并没有任何缺点,并补充说,在某些情况下,它们实际上可能表现得更好。
CXL 呢?
当然,非二进制内存并不是解决内存核心比率问题的唯一方法。
“非二进制容量等技术很有帮助,但转向 CXL 内存(共享系统内存)和片上高带宽内存也是如此,”Lam 说。
随着 AMD 去年秋天推出的 Epyc 4 处理器和英特尔下个月即将推出的 Sapphire Rapids 处理器,客户很快就会有另一种选择来为他们的系统增加内存容量和带宽。三星和 Astera Labs 都展示了内存扩展模块,Marvell 计划在未来为类似产品提供控制器。
但是,它们不是非二进制内存的替代品,而是对它们的补充。事实上,Astera Lab 的扩展模块应该可以很好地与 48GB、96GB 或更大的非二进制 DIMM 配合使用。(文:半导体行业观察编译自theregister)

球分享

球点赞

球在看
新闻来源:拓墣产业研究,文中所述为作者独立观点,不代表icspec立场。更多精彩资讯请下载icspec App。如对本稿件有异议,请联系微信客服specltkj。
暂无评论哦,快来评论一下吧!
2026-07-08
2026-07-15

2026-06-08