NVIDIA展示3D MoMa技术 利用AI与GPU产出物件即兴创作

即兴创作是爵士乐的特点，而NVIDIA透过人工智慧（AI）研究成果向爵士乐致敬，绘图创作者有朝一日将能够在即兴演奏时，利用演奏期间所创作出的3D物件进行即兴创作。

人工智慧降临惬意之都纽奥良，NVIDIA Research让创作者利用3D物件即兴创作

建筑师、设计师、概念艺术家与游戏开发者透过这项称为NVIDIA 3D MoMa的工具，可以迅速将物件汇入绘图引擎，并进行处理、调整比例、变更材质或尝试不同的光线效果。

NVIDIA Research在一部颂扬爵士乐及其发源地纽奥良的影片中展示该项技术，而本周在纽澳良举行的国际电脑视觉与模式辨识会议（CVPR）上发表3D MoMa的技术论文。

逆向渲染是一项将一系列静态照片重建为3D物件或场景模型的技术，NVIDIA绘图研究部门副总裁David Luebke表示：「这项技术对于统一电脑视觉与电脑绘图来说是梦寐以求的目标。」

David Luebke进一步表示：「借着把每一个逆向渲染问题都当作GPU加速的可微分元件，NVIDIA 3D MoMa渲染流程利用现代AI技术与NVIDIA GPU的原始运算能力快速产出3D物件，创作者便能运用现有的工具，自由地进行汇入、编辑和扩展等作业。」

3D物件的形式应能搭配游戏引擎、3D建模器和电影渲染器等各式常见工具，才最能协助艺术家或工程师。该形式为3D工具的通用语言、带有纹理材质的三角网格（Triangle Mesh）。

游戏工作室与其他创作者过去使用复杂的摄影测量技术，耗费大量时间及人力来建立3D物件。最近在神经辐射场领域的研究成果可以用于快速生成3D物件或场景，但并非能够轻松编辑的三角网格格式。

NVIDIA 3D MoMa搭配单一NVIDIA Tensor核心GPU，能在一小时内产生三角网格模型。该流程的输出内容可直接相容于创作者原本使用的3D绘图引擎与建模工具。

流程重建有三个特征：3D网格模型、材质和光线。网格如同由三角形组成的3D形状纸糊模型。开发人员能透过网格来调整物件，以符合他们的创作构想。2D纹理材质像皮肤一样叠加在3D网格上，而NVIDIA 3D MoMa亦会判断场景的打光状况，以便创作者在后期调整物件上的光线。

NVIDIA的研究和创意团队先搜集五种爵士乐器不同角度的图片各约100张，以展现NVIDIA 3D MoMa的能力，包括小号、长号、萨克斯风、爵士鼓和单簧管。

NVIDIA 3D MoMa将每件乐器的2D平面影像，以三角网格重建为3D立体模型。接着，NVIDIA团队从原始场景中取出这些乐器，并将其汇入NVIDIA Omniverse 3D模拟平台进行编辑。

创作者能够在任何传统的绘图引擎中，轻松为NVIDIA 3D MoMa产出的形状改变材质，仿佛替网格换穿上不同的衣服。NVIDIA团队便是借此方式更换小号模型的材质，例如瞬间就将原先来的塑胶材质外观，改成黄金、大理石、木材或软木材质。

创作者接着便能把刚编辑好的物件放入任何虚拟场景中。NVIDIA团队将这些乐器放置在一个用于渲染品质的经典图形测试Cornell Box，展示虚拟乐器对光线的反应，就像这些乐器在实体环境中的光线反应一般，亮面的铜管乐器会反射出明亮的光线，而雾面的鼓皮则会吸收光线。

在影片结尾以虚拟爵士乐队展现这些使用逆向渲染产生的新物件，能够用以创造复杂的动画场景。NVIDIA 3D MoMa的技术论文将于台湾时间6月23日凌晨2点30分在CVPR大会的一场会议中亮相，该论文为NVIDIA研究人员在今年CVPR大会上发表的38篇论文其中1篇。