AI推理应用向边缘化设备迁移，GDDR大展身手

随着ChatGPT的横空出世，让基于大模型类的人工智能技术成为热点，国际国内的厂商都相继推出了自研的大模型AI产品。而这些大模型应用主要由两个任务组成，即训练和推理。完成这两个任务的关键就是数据，大量的数据。

以ChatGPT为例，在ChatGPT3时，它所需要的训练参数为1750亿个，而到ChatGPT4，据称训练参数已经增长至数万亿个。

人工智能应用的快速发展，让需要处理的数据量也急剧增加，对应的处理这些数据的算力也增长显著。“但是如果带宽上的进步无法改善，即使算力增长了，两者之间则无法实现匹配。”Rambus IP核产品营销高级总监Frank Ferro表示，“也就是说，在现有高算力的基础之上，很多的GPU资源其实并没有得到充分的占用和利用，这也就造成了现在的困境。”

Frank Ferro以AI模型的两大任务为例，人工智能模型在训练时，需要录入大量数据进行分析，包括语音和视频等数据。在把这些数据录入到人工智能的训练系统后，然后去训练它们识别不同的图像或语音。完成这一任务需要消耗大量的算力，同时这也是一个非常耗时的过程。

人工智能模型在执行第二个任务推理时，这一过程对算力的需求可能没有训练过程那么大，但它对成本和功耗比较敏感。绝大多数推理的场景，都是应用于终端设备、消费者电子产品或者边缘设备等，尽管对带宽的需求有所下降，但是对成本的因素会变得更加敏感。

AI推理应用向边缘端转移

目前人工智能发展的一个重要趋势是AI的推理越来越多地向边缘设备进行转移和集成，即在云端完成对AI模型训练后，推理将会在边缘设备上实现。Frank Ferro表示：“这一趋势可以带来许多优势，如需要传输的数据量大幅减少，边缘设备的性能也获得提升，并且延迟也会下降。”

此外，随着AI推理应用不断向边缘端迁移，经过训练的系统还可以实现更快的处理速度。而在这个趋势下，GDDR6有了用武之地，它是帮助边缘端更好处理数据的更理想方案。

GDDR、DDR和LPDDR各有千秋

GDDR中的G代表的是graphic，即图像，顾名思义，它大多是面向图形处理方面的应用。然而，因为它具有的一些技术优势，它的应用逐渐开始向一些非图形应用转变，如人工智能和机器学习，还有一些网络应用等。

尤其对于人工智能应用，因为需要处理和传输大量的数据，所以对于内存带宽的要求很高。GDDR6相较于其它存储产品，可以在成本和性能之间达到不错的平衡。

以DDR4为例，目前它的成本较低，但同时其运行速度也相对较慢，最高只能达到3.2Gb/s，而GDDR在几年前就已达到16Gb/s。“正因为GDDR具有的独特优势，越来越多客户开始探寻将GDDR6应用到他们的设计中。这也是GDDR6转变为非图形应用的重要契机和原因。”Frank Ferro解释道。

Frank Ferro表示，“DDR和GDDR的差别还是非常显著的，包括带宽、容量密度、速度以及功耗等，这两者之间都有着显著的差异。如果从客户诉求的角度来看，如果带宽是主要的标准和最重要的衡量因素，GDDR毫无疑问是最好的选择。但如果是从存储密度，也就是能够存储多少数据，以及对成本的敏感性来看，DDR则是更好的选择。”

而另一存储产品LPDDR，则更加关注功耗管理，DDR的数据存储密度会更高一点，而GDDR更关注于速度，这三者可谓各有千秋。

近期，Rambus推出了GDDR6 PHY新产品，提供最高可达24Gb/s的数据传输速率，能够为每个GDDR6内存设备带来96 GB/s的带宽。可以很好为人工智能/机器学习（AI/ML）、图形和网络应用提供具有高成本效益、高带宽的内存性能。

如下图所示，此次的GDDR6 PHY首次采用了双读写通道。据Frank Ferro介绍，双读写通道可以显著增加数据的传输速度和传输效率。双读写通道加起来就是32位的数据宽度，同时，GDDR6内存有8个这样的双读写通道，总共可以实现256位的数据传输宽度，所以能够带来非常大的数据传输速率的提升。

图：GDDR6内存接口子系统

结语

Rambus大中华区总经理Raymond Su总结道：“GDDR技术是在带宽、成本和方案复杂性各因素之间，提供了一个非常完美的折中技术方案。我们预计GDDR会应用在图形处理器，以及自动驾驶、AI人工智能、5G基础架构的应用中。Rambus的24Gbps GDDR方案的推出，为以上各个应用提供了更高级别的性能和更多的选择。”

END