智源大会 | NVIDIA 科学家深度解析大语言模型训练和 3D 内容创作最新成果

北京智源大会是北京智源研究院主办的年度国际性人工智能高端学术交流活动。自 2019 年 10 月首次召开至今，有 8 位图灵奖得主曾参与大会，每年有 200 位顶尖专家出席，来自 30 多个国家和地区的观众齐聚一堂。

今年的大会将于 6 月 9 日至 10 日在北京市海淀区中关村国家自主创新示范区展示中心召开，预计将有超过 3 万名 AI 领域的专业人士在线上或线下参会，分享研究成果，学习前沿知识，交换实践经验，建立联系合作。

大语言模型和生成式 AI 代表了一个新的技术范式，推动着 AI 技术与各行各业的深度融合。

对于 3D 内容创作领域，如何提升数字内容生产力和生成效率，也成为其在大语言模型和生成式 AI 时代亟需思考的问题。

近几年，NVIDIA 推出了一系列全栈式解决方案，以助力满足大语言模型和生成式 AI 爆发式发展下的迅猛需求。在 3D 创作领域，从可逆渲染流程 NVIDIA 3D MoMa，到被美国《时代》周刊评为 2022 年度最佳发明的 NVIDIA Instant NeRF，以及近期在 CVPR 2023 发布的 NVIDIA Neuralangelo，NVIDIA Research 在 3D 视觉领域发布的一系列研究成果也受到广泛关注。

对于 3D 内容创作领域，基于这些大语言模型和生成式 AI 方面的研究进展和技术进步，不仅能够提高设计的速度、准确性、以及建模的效率，创作方式本身也发生了变革。

在明日（6 月 9 日）即将举办的北京智源大会上，来自 NVIDIA 的多位专家也受邀参会发表演讲，包括 NVIDIA 中国区工程和解决方案高级总监赖俊杰，以及来自 NVIDIA 多伦多 AI 实验室的三位研究科学家——NVIDIA 高级研究科学家 Karsten Kreis、NVIDIA 研究科学家高俊、NVIDIA 研究科学家 Huan Ling。

NVIDIA 中国区工程和解决方案高级总监赖俊杰将深度解析 NVIDIA GPU 软硬件结合的技术创新如何推动大模型技术的发展演进，介绍如何基于 NVIDIA Megatron 更高效地构建大语言模型训练系统，在大模型时代提高模型开发效率和模型质量。

来自 NVIDIA 多伦多 AI实验室的研究科学家们将带来两场精彩的学术分享。随着许多行业对创建大规模 3D 虚拟世界的需求不断增加，对多样化和高质量的 3D 内容有巨大的需求。他们将概述 NVIDIA 最近在机器学习和扩散模型方面的工作及其在图像、视频和 3D 内容创建方面的应用，以实现大规模的 3D 内容创作，并将重点介绍在 3D 生成建模方面的不同努力，包括以对象为中心的 3D 合成以及全场景级生成。

AI 系统论坛

基于 NVIDIA Megatron 更高效地

构建大语言模型训练系统

6 月 10 日上午 10:30-10:45

畅春厅

大语言模型是当今最重要的先进技术之一，NVIDIA 开发的基于 PyTorch 的训练框架 - Megatron 与 NeMo Framework 的开创性技术，能够提高训练速度且可扩展性强，使得大模型的训练和部署变得更加容易，具有更短的时间成本和更快的结果。

本议题将深度解析 NVIDIA GPU 软硬件结合的技术创新如何推动大模型技术的发展演进，NVIDIA Megatron 框架的优化方法，包括其高效的并行策略、内存优化技术等，以及如何利用该框架在大模型时代提高模型开发效率和模型质量。

演讲嘉宾

赖俊杰

NVIDIA 中国区工程和解决方案高级总监

赖俊杰主要负责带领团队对接中国区核心大客户的技术需求，以及开发相应的行业解决方案，定制软件产品等。赖博士本科和硕士就读于清华大学电子工程系，并于法国国家计算机与自动化研究所获得博士学位。博士期间的主要研究方向包括 GPU 架构研究，及 GPU 性能分析模型。赖博士专注在高性能计算、并行计算、人工智能及互联网行业应用，在并行程序的性能分析及性能优化领域有丰富的经验。

视觉与多模态大模型论坛

机器学习促进 3D 内容创作

6 月 9 日下午 14:05-14:50

静宜厅

随着许多行业对创建大规模 3D 虚拟世界的需求不断增加，对多样化和高质量的 3D 内容有巨大的需求。机器学习的存在使这一追求成为可能。本场演讲将讨论如何从结合可分化等值面和可分化渲染的角度出发，实现大规模的 3D 内容创作，并对现实世界产生影响。

为此，研究中首先介绍了一种基于四面体网格的可微分三维表示法，以实现任意拓扑结构的三维网格的高质量恢复。通过结合可分化的渲染，研究者进一步设计了一个生成模型，能够产生具有复杂纹理和材料的 3D 形状，用于网格生成。研究中所用框架为从文本提示中利用二维扩散模型进行创新的高质量三维网格创建铺平了道路，这使新手的 3D 内容创建更加大众化。

演讲嘉宾

高俊

NVIDIA 研究科学家

高俊是多伦多大学的博士生，由 Sanja Fidler 教授指导。他也是 NVIDIA 多伦多 AI 实验室的一名研究科学家。他的研究兴趣集中在 3D 计算机视觉和计算机图形的交叉领域，特别是开发机器学习工具，以促进大规模的 3D 内容创作并推动现实世界的应用。他的许多贡献已经在产品中实现，包括 NVIDIA Picasso、GANVerse3D、Neural DriveSim 和 Toronto Annotation Suite。他将在 2023 年的 NeurIPS 上担任领域主席。

借助扩散模型进行图像、视频

和 3D 内容创作

6 月 9 日下午 15:35 - 16:20

静宜厅

基于扩散的降噪生成模型激发了深度生成学习的多项突破。本场演讲将概述 NVIDIA 最近在扩散模型方面的工作及其在图像、视频和 3D 内容创建方面的应用。演讲将从对扩散模型的简短介绍开始，讨论大规模文本到图像的生成，然后重点介绍在 3D 生成建模方面开展的多项工作，包括以对象为中心的 3D 合成以及全场景级生成。最后将讨论的是 NVIDIA 最近在使用视频潜在扩散模型生成高分辨率视频方面的工作。研究者将最先进的文本到图像模型 Stable Diffusion 转变为高分辨率文本到视频生成器，还演示了真实野外驾驶场景视频的模拟。

演讲嘉宾

Karsten Kreis

NVIDIA 高级研究科学家

Karsten Kreis 是 NVIDIA 多伦多 AI 实验室的高级研究科学家。在加入 NVIDIA 之前，他在 D-Wave Systems 从事深度生成建模工作，并与他人共同创立了 Variational AI，这是一家利用生成模型进行药物发现的初创公司。在转向深度学习之前，他在马克斯-普朗克光科学研究所获得了量子信息理论硕士学位，并在马克斯-普朗克聚合物研究所获得了计算和统计物理学博士学位。目前，Karsten 的研究重点是开发新的生成学习方法，主要是扩散模型，以及将深度生成模型应用于计算机视觉、图形和数字艺术以及自然科学等领域的问题。

Huan Ling

NVIDIA 研究科学家

Huan Ling 是 NVIDIA 多伦多人工智能实验室的研究科学家，他是多伦多大学 Sanja Fidler 教授的博士生，还是 Vector Institute 的研究员。他的研究重点是大规模生成模型以及将生成模型用于计算机视觉感知任务。他在 NVIDIA 的研究工作包括 DatasetGAN、EditGAN 和 Align your Latents: VideoLDM。

点击“阅读原文”即可报名现场参加各专题论坛或预约线上直播，快来参会吧！

扫描下方海报二维码，观看 NVIDIA 创始人兼 CEO 黄仁勋在 COMPUTEX 2023 的主题演讲直播回放，主题演讲中文字幕版已上线，了解 AI、图形及其他领域的最新进展！