GTC21 | 借助 NVIDIA 融合加速器开发套件加速数据中心 AI

现代数据中心变得越来越难以管理。应用程序和 PB 级日志数据之间有数十亿条可能的连接路径。静态规则不足以适应动态微服务的安全策略，而且人工已经无法应对数量庞大的日志数据的分析。

AI 是通往未来安全和自主管理式数据中心的唯一出路。

NVIDIA 融合加速器在业界率先推出 AI 增强型 DPU。它将 GPU 的强大计算能力与 DPU 的网络加速和安全优势相结合，为 AI 增强型数据中心管理创造了统一平台。融合加速器可将 AI 生成的规则应用于数据中心网络中的每个数据包，为实现实时安全和管理创造新的可能性。图像展示了将 BlueField-2 DPU 和 Ampere GPU 相结合的 NVIDIA 新型融合加速器。

图 1  在标准模式下，BlueField-2 DPU 和 GPU 通过专用 PCIe 4.0 交换机连接以获得完整带宽，独立于主机 PCIE 系统带宽。

在 NVIDIA GTC 大会上，我们推出了两款新型融合加速器。A100X 在单一模组中融合了 A100 Tensor Core GPU 和 NVIDIA BlueField-2 DPU。A30X 则融合了 A30 Tensor Core GPU 和相同的 BlueField-2 DPU。融合卡具有独特的能力，除了 BlueField-2 的卸载、隔离和加速网络功能，进一步拓展到 AI 推理和训练功能。

两款加速器都包含一个集成的 PCIe 交换机实现DPU 和 GPU 连接。集成交换机能够消除对主机资源的争用，实现线速 GPUDirect RDMA 性能。集成交换机还通过隔离 GPU 和网卡之间移动的数据来提高安全性。

AI 增强型 DPU

融合加速器支持两种运行模式：

• 标准模式 – BlueField-2 DPU 和 GPU 分别独立运行。

• BlueField-X模式 – PCI 交换机进行了重新配置，GPU 将专用于 DPU，并且对于主机系统不可见。

在 BlueField-X 模式下，只有 DPU 上运行的操作系统可见到GPU。BlueField-X 模式在业界首创了一种新型加速器类型：GPU 加速的 DPU。图像展示了在 BlueField-X 模式下，主机服务器中的 CPU 连接到融合加速器。融合加速器的 PCIe 交换机连接到 CPU 和 DPU。而 GPU 仅通过 PCIe 交换机与 DPU连接。

图 2  在 BlueField-X 模式下，x86 主机只能看到 BlueField-2 DPU，支持 DPU 在网络数据上运行 AI 工作负载。

在 BlueField-X 模式下，GPU 可以对流经 DPU 的数据运行 AI 模型，成为 “bump in the wire”。保障安全同时，无性能损耗。AI 模型无需消耗主机资源，实现完全加速。

BlueField-X 为网络安全、数据中心管理和 I/O 加速解锁新颖使用场景。例如，Morpheus 网络安全框架使用机器学习对以往无法识别的安全威胁进行有效处理。Morpheus 通过 DPU 从数据中心的各个服务器获取遥测数据，并将其发送到配备 GPU 的服务器进行分析。

有了 BlueField-X，AI 模型可以在每个服务器的融合加速器上直接本地运行。这使 Morpheus 能够更快地分析更多数据，同时消除代价很高的数据移动，并缩小恶意攻击面。由 BlueField-X 加速的 Morpheus 使用案例包括恶意软件检测、数据泄漏预防和动态防火墙规则创建等。

Morpheus 示例仅仅是 BlueField-X 实现加速的一种使用场景。我们的客户经常与我们分享一些我们尚未考虑到的新想法。为了对 AI 增强的网络进行更多创造性的探索，我们现正推出 NVIDIA 融合加速器开发套件。

结合此开发套件，我们为有意构建新一代加速 AI 网络应用的特定客户和合作伙伴提供 A30X 加速器的抢先体验计划。在边缘计算或数据中心管理中探索 BlueField-X 的新应用场景。以下例子为您做参考：

• 透明视频预处理 – Bump-in-the-wire 视频预处理（解密、交错、格式转换等），以提高 IVA 吞吐量和摄像头密度。

• 小基站 RU 解决方案 – RAN 信号处理聚合加速器，以增加商业 gNodeB 服务器上的用户密度和吞吐量。

• 计算存储 – Bump-in-the-wire 存储加密、索引和哈希，为长期存储主机数据准备处理卸载昂贵的 CPU 资源。

• 作弊检测 – 检测流式游戏服务中的恶意游戏/作弊

开始使用 NVIDIA 融合加速器开发套件

NVIDIA 融合加速器开发套件包含有结合 CUDA 和 NVIDIA DOCA 的示例应用程序，以及帮助安装、配置新型融合加速器的文档。最重要的是，可提供 A30X 及应用支持来换取用户的宝贵反馈。

要开始使用，只需在 NVIDIA 融合加速器开发套件网页上完成注册。获得批准后，一旦硬件准备好发货，将由工作人员主动联系。之后就可以开启新一代加速应用之旅了。