页面加载中,请稍候
来源:李立达发布时间:2023-08-311465浏览
询问 AI当前业界焦点都关注AI服务器出货动态,然若以数据中心架构来说,除了服务器的运算单元需要提升,以因应AI处理大数据需求,现有网络架构不敷使用,网络交换器厂智邦正在开发新一代数据中心所需的网络架构,预计2024年下半试产。
ChatGPT背后的大型语言模型(LLM)需要庞大算力支持,然不只服务器的算力需要提升,网络带宽也需要强化。NVIDIA的创始人暨CEO黄仁勋曾于COMPUTEX 2023时提到:数据中心的用途取决于网络(The network defines what that data center does),也凸显网络的重要性。
智邦认为,传统的数据中心架构,透过PCIe Switch,连结CPU与GPU NIC,然若要进行AI或机器学习的数据传输,此架构会面临3种限制,包括无法适当扩充、较低的效能表现以及较高的传输延迟(latency)。
现阶段的数据中心架构,支持8~10颗GPU没问题,但是若要支持ChatGPT或Google的Bard,会用到上万颗的GPU,如何弹性扩充并降低延迟,就成为提升算力效能的关键,而传统数据中心不足以应付此要求。
智邦指出,新一代的数据中心需采用新架构优化AI与机器学习流程,此架构是透过服务器加速器(Server Fabric Accdelerator)与NIC及存储器的CXL技术结合,让AI或机器学习可弹性扩充,并且减少其中的传输延迟。
上述新架构最高可节省50%成本,所谓节省50%成本,是与现有架构比较,可用50%的GPU算力,就达到现在一样的效能,或与现在一样的GPU数量,可以提升50%的效能。智邦也正在积极与策略伙伴合作开发,预计2024年进行POC,下半年试量产。
在此同时,AI也会带动网络带宽提升需求,因此也会加速400G网络交换器的普及,智邦在2022年底预估,2023年400G网络交换器的出货占比将达15%,业界预估,可望提高到15~20%,在网络带宽速度要求下,800G普及也将指日可待。
智邦指出,针对800G交换器也已完成开发,并且也会推出相关的光收发器(transceiver),主要因为100G与400G都采用铜线传输,未来在800G交换器时代,将会以矽基板整合光收发模块,取代传统的铜线传输。
责任编辑:朱原弘
新闻来源:DIGITIMES科技网,文中所述为作者独立观点,不代表icspec立场。更多精彩资讯请下载icspec App。如对本稿件有异议,请联系微信客服specltkj。
暂无评论哦,快来评论一下吧!
2026-07-09
2026-06-03

2026-07-03