GTC23 | NVIDIA 携合作伙伴秀 “软” 实力，AI 应用的星辰大海已开启？

来源:NVIDIA英伟达发布时间:2023-03-08946浏览

在 “万物互联” 时代，人工智能成为新一轮产业革命的引擎。与此同时，智能逐渐成为新热点，新卖点，以满足客户的新需求。人工智能推动了互联网新形态的变化。

在这次 GTC 上来自 NVIDIA 和合作伙伴的技术专家将带来互联网领域人工智能软件的新进展。

众所周知，推荐系统在新时代的互联网环境下已然出现在我们生活的各个角落，我们刷视频、在网上买东西、使用社交软件都离不开推荐系统的推荐。推荐系统也是目前互联网的增长引擎。根据麦肯锡的报道，有超过 35% 的亚马逊购买和超过 75% 的 Netflix 观看，而这些其实都是基于推荐系统相关的算法而产生的。推荐系统的推荐质量可以直接影响公司收入，可能 0.1% 的推荐准确度都会影响可能上亿的收入。

随着短视频 APP、视频会议平台以及 VR/AR 等技术的发展，视频与图像已逐渐成为全球互联网流量的主要组成部分。我们平时接触到的这些视频图像，也有很多是被 AI 和计算机视觉（CV）算法处理并增强过的。然而，随着社交媒体和视频分享服务的快速增长，作为 AI 图像算法基础的视频图像处理部分，也早已成为计算流程中不可忽视的成本和瓶颈，那么基于 GPU 的的图像处理应运而生。

ChatGPT 的出现惊喜了很多人，大语言模型（LLM）的热度也水涨船高。LLM 代表着 AI 领域的重大进步，并有望通过习得的知识改变该领域。在过去几年中，LLM 的规模每年增加 10 倍，而且随着这些模型的复杂程度和规模的增加，其性能也在不断发展，但是如何开发和维护 LLM 其实并非易事。同时，如何快速高效部署 AI 应用，如何对企业的 AI 应用进行高效统一的管理，实现流程的自动化等都是摆在互联网企业面前亟待解决的问题。

NVIDIA 借助自身在人工智能领域的经验和积累，为了推动数据科学和 AI 的发展，开发和推出了一系列软件和 SDK，助力企业从云端、数据中心到边缘都能优化其基于 GPU 的系统。

在 3 月 20-23 日举行的 GTC 2023 春季大会上，NVIDIA 携手阿里巴巴、百度、快手、腾讯、Roblox、ControlExpert 等合作伙伴，集中展示了当下热门应用的最新进展，涵盖 NVIDIA Merlin、LLM、Triton 推理服务器、CV-CUDA、AI Enterprise 等多个领域应用。

扫描二维码免费注册

预约观看互联网应用精彩演讲

以下为 11 个演讲的详细介绍：

1. Merlin 应用框架

NVIDIA Merlin 是推荐系统的助推器，它为企业用户提供了一个全链路的方案，能够提高训练和推理速度，帮助各种类型的企业更好地利用数据，构建由 NVIDIA GPU 加速的推荐系统。改进推荐将有助于提高点击率、购买率和满意度。

Merlin 相关演讲推荐：

DeepRec：面向推荐场景的高性能深度学习框架

会议代码：[S51544]

演讲时间：3 月 23 日 3:00 PM

DeepRec 支持了淘宝搜索、猜你喜欢、定向、直通车等核心业务，支撑着千亿特征、万亿样本超大规模的搜索、推荐、广告场景的模型训练和推理。自 DeepRec 开源以来，已有数十家互联网公司将 DeepRec 应用在他们的搜推广场景的业务中，取得了显著的业务效果提升和性能提升。

DeepRec 中提供的功能和性能优化主要分三个方面：1. 模型效果方面；2. 训练和推理优化方面；3. 模型部署方面。本次演讲中，主要介绍 GPU 场景下，DeepRec 中多级 Embedding 混合存储功能，图感知的内存/显存分配器，SessionGroup 中多 CUDA Stream 支持，基于Merlin SOK 的 GPU 同步训练，以及 Embedding 性能优化 Group Embedding。

您可以在 github 上体验 DeepRec：

https://github.com/alibaba/DeepRec

演讲嘉宾：

刘童璇，阿里巴巴高级技术专家

刘仕杰，NVIDIA GPU 计算专家团队工程师

Merlin 的新发布：GPU 上轻松构建和部署任何规模的推荐系统

会议代码：[S51335]

演讲时间：3 月 23 日 2:00 AM

本演讲将介绍 NVIDIA Merlin 的进展，这是 NVIDIA 用于构建和部署任何规模的推荐系统的开源框架。本次分享将通过使用 Merlin 在 NVIDIA 构建推荐系统的真实案例来说明 Merlin 的易用性，随后深入探讨 Merlin 加速推荐系统在 GPU 上性能的各种机制和底层库，并且预览了 Grace Hopper Superchip 架构给推荐系统带来的进步。预约观看本演讲，了解如何在 GPU 上轻松构建和部署任何规模的推荐模型。

您可以在 github 上体验 Merlin：

https://github.com/NVIDIA-Merlin/Merlin

演讲嘉宾：

高文雯，NVIDIA 高级产品经理

Angel Martinez，NVIDIA 深度学习工程师

2. LLM

LLM 是一种深度学习算法，可以通过大规模数据集训练来学习识别、总结、翻译、预测和生成文本及其他内容。LLM 是 Transformer 模型最成功的应用之一。除了加速翻译软件、聊天机器人、AI 助手等自然语言处理应用之外，LLM 还在医疗、软件开发等许多其他领域被使用。而近期 ChatGPT 的火爆，更是将 LLM 带到了公众视野。

LLM相关演讲推荐：

飞桨深度学习平台高效支持大模型生产及应用

会议代码：[S52366]

演讲时间：3 月 22 日即可在线观看

源于百度业务对人工智能技术的广泛应用，飞桨深度学习平台结合应用持续创新，研发了业界领先的大规模分布式训练技术。飞桨先后发布了 4D 混合并行训练、端到端自适应分布式训练、超大规模图训练引擎等核心技术，并基于这些技术支持文心大模型的训练和部署。目前，文心大模型已经覆盖基础大模型、任务大模型、行业大模型的三级体系，飞桨+文心大模型赋能千行百业的智能化升级。

演讲嘉宾：

马艳军，百度 AI 技术生态总经理

多模态超大模型在短视频场景落地应用

会议代码：[SE52361]

演讲时间：3 月 22 日 3:00 PM

以 ChatGPT 为代表的大模型面世，带来了 AI 大模型技术热潮，研究表明，知识密集任务中越大的模型学习效率越高（相同训练数据量下，模型越大任务效果越好），主流大模型的参数大都超过了千亿 (100B) 规模，同时也给模型的高效训练和推理部署带来严峻挑战。快手围绕提高模型计算效率和可部署开展技术攻关，沉淀了一套通用的混合并行训练、压缩、推理整体解决方案，并联合业务实现百亿参数 Dense 模型和千亿参数 MOE 大模型落地，取得显著业务收益。

演讲嘉宾：

张胜卓，快手算法引擎专家

韩青长，快手算法引擎工程师

李杰，快手算法引擎工程师

门春雷，快手算法引擎专家

3. Triton 推理服务器

NVIDIA Triton 推理服务器是 NVIDIA 推出的一款开源软件，可简化部署深度学习模型的过程。对于所有推理模式，都可以简化模型在任一框架中以及任何 GPU 或 CPU 上的运行方式，从而在生产环境中使用 AI。Triton 可提供高吞吐量的数据中心推理，以实现 GPU 使用率的最大化，对行业产生巨大价值。

Triton 相关演讲推荐：

云端 AI 推理加速：一种跨平台和框架透明的方式

会议代码：[S52332]

演讲时间：3 月 22 日即可在线观看

从产品推荐到自动驾驶汽车再到在线聊天机器人，AI 在我们的日常生活中变得越来越普及。考虑到 AI 应用程序的广泛应用，AI 推理很可能会在云端的不同硬件目标上运行。这种硬件异构性引发了软件层面的挑战，尤其是当开发人员经常发现自己使用独立的软件栈在不同的硬件目标上开发推理应用程序时。基于此，腾讯计算加速套件 TACO Infer 旨在让所有开发人员，无论其 AI 开发经验如何，都可以使用他们选择的模型、框架和硬件后端来加速深度学习推理。TACO Infer 提供了一个跨平台的统一优化接口，对深度学习框架透明，如 TensorFlow 或 PyTorch。TACO Infer 的可扩展设计，还有助于在针对不同设备时，可集成第三方和社区开源软件。

演讲嘉宾：

叶帆，腾讯云异构计算专家级工程师、异构研发负责人

为元宇宙的发展大力普及机器学习推理

会议代码：[S51948]

演讲时间：3 月 22 日 2:00 AM

本场演讲将带您了解 Roblox ML 平台推理服务。您将了解如何将 Triton 推理服务与 Kubelow 和Kserve 集成。本场演讲将分享 Roblox 如何简化最终用户的部署，以便为 CPU 和 GPU 上的模型提供服务。最后，将重点介绍 Roblox 目前的几个案例，如游戏推荐和其他计算机视觉（CV）模型。

演讲嘉宾：

Denis Goupil，Roblox 首席机器学习工程师

4. CV-CUDA

CV-CUDA （Computer Vision – Compute Unified Device Architecture）高性能图像处理加速库，是一个开源项目，可在 AI 成像和 CV 流程中通过 GPU 加速构建高效的预处理和后处理步骤，可以更快、更高效地大规模处理图像。CV-CUDA 前期由 NVIDIA 和字节跳动的机器学习团队联合开发。如果想试试更快、更好用的视觉预处理库，可以试试这一开源工具（GitHub：https://github.com/CVCUDA/CV-CUDA 下载和试用）。

CV-CUDA 相关演讲推荐：

使用 NVIDIA DeepStream 的自定义 GPU 驱动插件推进 AI 应用

会议代码：[S51612]

演讲时间：3 月 21 日 2:00 AM

使用创新（且易于访问）的工具，如用于图像处理的 NVIDIA DeepStream SDK 和 CV-CUDA，释放计算机视觉的力量。有了这些强大的工具，开发人员可以快速创建高度精确的定制实时AI解决方案。本场演讲将展示近期宣布的 CV-CUDA（可供早期访问），这是一个开源项目，能够使用 GPU 处理构建高效的云规模 AI 成像和 CV 应用程序。本场演讲将逐步演示如何使用 CV-CUDA 为 DeepStream 构建自定义插件，从而加速构建端到端视觉 AI 管道。

演讲嘉宾：

Alvin Clark，NVIDIA 资深解决方案架构师

克服基于 AI 的成像和计算机视觉管道中的前处理和后处理瓶颈

会议代码：[S51182]

演讲时间：3 月 23 日 9:00 PM

本演讲将介绍如何访问并部署计算机视觉 kernels，以加速整个基于云的管道的构建。

演讲嘉宾：

Rodolfo Lima，NVIDIA CV-CUDA 资深工程师

5. NVIDIA AI Enterprise

NVIDIA AI Enterprise 是一套全面的云原生 AI 和数据分析软件套件，为使企业能够在熟悉的基础设施上使用 AI ，而做了专门的优化。这套软件可以部署在任何地方，包括从企业数据中心到公有云，并且为保证 AI 项目在各地的正常运行，对全球企业均可提供支持。近期，NVIDIA 还推出了 AI Enterprise 3.0 新版本，扩大了对 NVIDIA NGC 软件目录中 50 多个 NVIDIA AI 软件框架和预训练模型的支持，大幅推动并简化全球范围内众多机构的 AI 部署工作。

NVIDIA AI Enterprise 相关演讲推荐：

如何构建一个集成混合和多云数据中心的人工智能平台

会议代码：[S51395]

演讲时间：3 月 22 日 5:00 AM

AI 应用和机器学习应用已成为主流，几乎是每家公司竞争战略的核心。企业面临的一个最严峻的挑战，是分布在云和本地数据中心上一个个孤立的基础设施。人工智能要求它们的环境作为一个公共平台来管理，而不是计算孤岛。企业 AI 工作负载需要灵活性，以便跨混合云进行移植，无论是在公共云中开发，还是在数据中心的 prem 上部署，或是多个云的组合。了解统一的 NVIDIA AI 平台如何链接混合和多云环境，从而帮助企业用户节省成本，并加快 AI 应用程序的上市时间。

演讲嘉宾：

Charu Chaubai，NVIDIA 产品市场经理

Christi DeCuir，NVIDIA 云产品 GTM 总监

AI 实用指南：从试点走向生产

会议代码：[S51391]

演讲时间：3 月 23 日 11:00 PM

我们正在进入 AI 应用的新阶段。企业正在从 AI 的试点和实验转向全面生产和规模化，以推动成本节约和新的收入模式。如果要充分发挥这些任务关键型 AI 应用的潜力，并推动有意义的业务价值，这需要一种全新的思路，以确保这些 AI 应用的可靠性、安全性和可扩展性。NVIDIA AI Enterprise 能够帮助企业用户无缝过渡到生产人工智能。预约观看本演讲，了解最佳实践、经验教训与常见错误。

演讲嘉宾：

Anne Hecht，NVIDIA 企业市场产品资深产品总监

David Nixon，Carilion Clinic 技术服务组系统工程师

Andreas Witte，ControlExpert 董事总经理

在端到端人工智能世界中实现组织可持续性和成功最大化的三种策略

会议代码：[S51933]

演讲时间：3 月 22 日 3:00 AM

AI 是我们这个时代最强大的技术力量，但采用 AI 可能会给任何致力于可持续发展并关注气候变化、能源效率和减少浪费的领导者带来困扰。幸运的是，我们有可能制定一条路线，在最大限度地减少（甚至减少）能源和材料使用、提高生产力、加深对决策和运营的理解和控制的同时，实现使用 AI 的最大效益。本场演讲将描述 AI 的三种可持续性策略。了解技术选择如何影响能源和材料的使用，如何在追求 AI 的过程中提高生产力和灵活性，其中技术杠杆可以加快上市时间，同时降低成本和工作量，以及 AI 支持的建模和模拟如何增强决策和运营，从而助力您的组织能够在履行可持续性承诺的同时茁壮成长。

演讲嘉宾：

Steve Oberlin，NVIDIA 加速计算 CTO

如何预约和注册

想要预约以上精彩内容？扫描海报二维码 或点击 “阅读原文”，打开 GTC 2023 互联网应用精选会议 专题页面，按照会议代码或标题，找到对应演讲。通过点击 “Add to Schedule” 或 “星星” ，将该演讲内容添加至您的日程，大会开始后登录即可在线观看。

进入 互联网应用精选会议 专题页面。