芯片巨头联手，改革以太网，摆脱英伟达？

英特尔和微软等几家科技巨头计划开发开放的“Ultra Ethernet”解决方案堆栈，以满足人工智能和高性能计算工作负载不断增长的网络需求。

周三，这些公司通过一个名为“Ultra Ethernet Consortium”（UEC：超以太网联盟）的新组织宣布了他们的计划，该联盟寻求通过“全行业合作”“为高性能网络构建一个完整的基于以太网的通信堆栈架构”。

该联盟由 Linux 基金会成立，其他创始人包括网络芯片巨头 Broadcom、网络硬件供应商 Cisco 和 Arista Networks、英特尔芯片竞争对手 AMD、服务器巨头 Hewlett Packard Enterprise、Facebook 母公司 Meta 和解决方案提供商巨头拥有的网络安全业务 Evidian阿托斯。

该集团正在攻克一个快速增长的领域，这可能为渠道合作伙伴带来重大机遇。研究公司 650 Group 表示，数据中心人工智能网络市场预计今年将增长至 30 亿美元，到 2027 年将达到 100 亿美元。

“这并不是要彻底改革以太网，”Ultra Ethernet Consortium主席J Metz 博士在一份声明中表示。“这是关于调整以太网以提高具有特定性能要求的工作负载的效率。我们正在研究每一层——从物理层一直到软件层——以找到大规模提高效率和性能的最佳方法。”

据超以太网联盟 (UEC) 在新闻稿中所说，他们正在汇集领先的公司进行全行业合作，为高性能网络构建一个完整的基于以太网的通信堆栈架构。人工智能 (AI) 和高性能计算 (HPC) 工作负载正在快速发展，需要一流的功能、性能、互操作性和总体拥有成本，同时又不牺牲开发人员和最终用户的友好性。超级以太网解决方案堆栈将利用以太网的普遍性和灵活性来处理各种工作负载，同时具有可扩展性和成本效益。

该联盟将致力于最大限度地减少通信堆栈的变化，同时维护和促进以太网互操作性。

据报道，UEC 为改进以太网而做出的首批努力之一是目前称为 UEC 传输的技术。

Metz 表示，UEC 传输正在开发中，以帮助提供比目前 RDMA 更好的以太网传输。虽然仍将支持 RDMA，但 UEC 旨在提供更灵活的传输，不需要无损网络。这将允许多对多人工智能工作负载所需的多路径和无序数据包传输等功能。

“UEC 传输是一种处理传输层的新形式，它具有一些语义调整、拥塞通知协议和一些安全增强功能，”Metz 说。

UEC 技术咨询委员会主席 Uri Elzur 告诉 SDxCentral，通过即插即用和合规性测试确保互操作性将是未来的重点。Elzur 表示，UEC 的目标是确保其开放性和可互操作性。

“为了实现我们的目标，必须改变一系列事情，同时我们保留以太网环境的优点，并在此基础上构建一个堆栈，”Elzur 说。

该联盟的技术目标是开发规范、API 和源代码来定义：

• 以太网通信的协议、电信号和光信号特征、应用程序接口和/或数据结构。

• 链路级和端到端网络传输协议可扩展或替换现有链路和传输协议。

• 链路级和端到端拥塞、遥测和信令机制；上述各项均适用于人工智能、机器学习和高性能计算环境。

• 软件、存储、管理和安全结构可促进各种工作负载和操作环境。

UEC 将遵循模块化、兼容、可互操作层和紧密集成的系统方法，为要求苛刻的工作负载提供全面改进。创始公司正在为联盟的四个工作组做出极具价值的贡献：物理层、链路层、传输层和软件层。

“

现代AI工作的网络需求

网络对于高效且经济高效的人工智能模型训练变得越来越重要。GPT-3、Chinchilla 和 PALM 等大型语言模型 (LLM) 以及 DLRM 和 DHEN 等推荐系统在数千个 GPU 的集群上进行训练。

训练由频繁的计算和通信阶段组成，其中下一阶段训练的启动取决于整个 GPU 套件通信阶段的完成。最后到达的消息控制所有 GPU 的进度。这种尾部延迟（Tail latency，通过通信阶段最后一条消息的到达时间来衡量）是系统性能的关键指标。

就参数数量、嵌入表条目和上下文缓冲区的字数而言，大型模型的规模不断增加。例如，2020 年，GPT-3 是最先进的，拥有 1750 亿个参数。最近，他们宣布了 GPT-4 模型，预计有 1 万亿个参数，而 DLRM 拥有数万亿个参数，并且预计还会增长。这些越来越大的模型需要越来越大的集群来训练并在网络上驱动更大的消息。当网络性能不佳时，这些昂贵的集群就得不到充分利用。连接这些计算资源的网络必须尽可能高效且经济高效。

高性能计算 (HPC) 工作的要求也同样很高，而且 HPC 和人工智能在分布式计算资源的规模和高效利用方面的需求日益趋同。虽然 AI 工作负载通常非常需要带宽，但 HPC 还包括对延迟更加敏感的工作负载。

“

以太网的优势

目前，许多大型集群（包括用于人工智能训练的 GPU 的超大规模部署）已经在基于以太网的 IP 网络上运行，利用了它们的许多优势：

• 广泛的多供应商生态系统，由来自许多参与方的可互操作以太网交换机、NIC、电缆、收发器、光学器件、管理工具和软件组成

• 经过验证的 IP 网络寻址和路由规模，可实现机架规模、建筑规模和数据中心规模网络

• 一系列用于测试、测量、部署和高效运营以太网的工具

• 通过竞争性生态系统和规模经济降低成本的历史经验

• IEEE 以太网标准经过验证的能力，能够在许多物理层和光层上快速、定期地推进

我们预计这些优势将成为关键要求，并且以太网在未来将越来越多地主导各种规模的人工智能和高性能计算工作负载。

“

未来人工智能和高性能计算网络的关键需求

即使考虑到使用以太网的优点，也可以而且应该进行改进。网络必须不断发展，以更好地提供前所未有的性能，以适应未来网络规模的扩大和带宽的提高。最重要的是需要网络支持尽快将消息传递到所有参与端点，即使是少数端点也不会出现长时间延迟。应尽量减少“尾部延迟”。

为了实现低尾部延迟，UEC 规范通过满足下一代应用程序的以下关键网络要求，提供了重大改进：

1、Multi-pathing and packet spraying

2、Flexible delivery order

3、Modern congestion control mechanisms

4、End-to-end telemetry

5、Larger scale, stability, and reliability

最后一点给前面的所有点带来了额外的负担。高性能系统几乎没有容错空间，而在较大的网络中，容错空间会变得更加复杂。，随着系统的发展，确定性和可预测性变得更加困难，需要新的方法来实现整体稳定性。

“

超以太网联盟的目标

在白皮书中，UCE表示，超以太网联盟的成员认为，现在是重新开始并用超以太网传输取代传统 RoCE 协议的时候了。超以太网传输是一种现代传输协议，旨在提供 AI 和 HPC 应用程序所需的性能，同时保留超以太网生态系统的优势。

TCP/IP 和以太网成功的两个基本教训是，传输协议应提供丢失恢复功能，并且无损结构在不触发队头阻塞和拥塞扩散的情况下运行非常具有挑战性。UEC 传输遵循这些原则，建立在分布式路由算法和基于端点的可靠性和拥塞控制的成熟路径之上。UEC 传输协议通过提供以下功能超越了现状：

• 开放协议规范从一开始就设计为在IP 和以太网上运行

• 多路径、数据包喷射传送（packet-spraying delivery ），充分利用 AI 网络，不会造成拥塞或队头阻塞，无需集中式负载均衡算法和路由控制器

• Incast 管理机制，以最小的丢包控制到目标主机的最终链路上的扇入

• 高效的速率控制算法，允许传输快速提升至线速，同时不会导致竞争流的性能损失

• 用于无序数据包传送的 API，可选择按顺序完成消息，最大限度地提高网络和应用程序的并发性，并最大限度地减少消息延迟

• 可扩展未来网络，支持 1,000,000 个端点

• 性能和最佳网络利用率，无需针对网络和工作负载调整拥塞算法参数

• 旨在在商用硬件上实现 800G、1.6T 和未来更快以太网的线速性能

UEC 规范将超越传输层，定义标准语义层、改进的低延迟交付机制以及一致的 AI 和 HPC API，并提供标准的多供应商支持，以便通过 UEC 传输协议实现这些 API。

“

英伟达可能遭遇重创？

一位解决方案提供商高管表示，超以太网联盟的一个可能目标是提供 Nvidia InfiniBand 网络解决方案的替代方案，该解决方案针对 AI 和 HPC 工作负载。他发现值得注意的是，英伟达并不是该组织的成员。

“他们正在尝试找到一种处理这些织物的替代方法，”位于明尼苏达州伯恩斯维尔的 HPC 系统集成商 Nor-Tech 的工程副总裁 Dominic Daninger 说。

英伟达没有回应置评请求。

Daninger 表示，如果成功构建可互操作且速度更快的基于以太网的解决方案堆栈，该团队可能会削弱 Nvidia 在人工智能和 HPC 领域的主导地位。这是因为 Nvidia 推出了 InfiniBand 解决方案，该解决方案是该公司通过2021 年收购 Mellanox获得的，作为连接 GPU 集群以执行此类工作负载的最佳低延迟解决方案。

他表示：“英特尔、AMD 和博通等公司可能有兴趣摆脱与 Nvidia 的加速器和连接结构的束缚。”

该团队的目标是开发超越“当今专业技术”性能的基于以太网的架构，重点关注功能、性能、总体拥有成本、互操作性以及为用户和开发人员提供的友好环境。

从技术角度来看，超以太网联盟正在寻求开发规范、API 和源代码，以定义基于以太网的解决方案堆栈中的多个方面。

堆栈中的这些方面包括支持各种工作负载和操作环境所需的软件、存储、管理和安全构造。它们还涵盖链路和传输协议以及电气和光学信号特征以及以太网通信的应用程序接口和数据结构。

超以太网联盟预计首批采用其规范的产品将于 2024 年问世。