英伟达“剧透”2nm发展：与台积电、ASML、新思四方合作攻克技术大山

英伟达创始人兼首席执行官黄仁勋在GTC 2023中宣告，十年前GPU训练AlexNet计算机视觉模型开启AI新时代，十年后Transformer模型问世让浮点运算比训练AlexNet时多一百万倍，进而创造出惊艳世人的ChatGPT，AI正式迎来“iPhone时刻”。

GPU在AI领域的发展有两个重大转捩点，一是2012年Alex Kerchevsky和Geoff Hinton需要一台速度快的计算机来训练AlexNet计算机视觉模型，研究人员在GeForce GTX580上使用1400万张图像训练了AlexNet，可处理262千万亿次的浮点运算。

当时这个训练模型不但是在视觉识别挑战赛胜出，更触发了AI领域的机遇大爆发，开启了英伟达从显卡硬件商转型为人工智慧平台公司的契机，更开启用英伟达GPU来运行深度学习的大门。

第二个转捩点是在AlexNet问世十年后，藉由Transformer模式的问世，浮点运算可以比训练AlexNet多一百万倍，这结果更是创造出惊艳世人的ChatGPT。

黄仁勋表示，近40年来摩尔定律一直引领行业发展，而计算机行业又引领各行各业前进。在成本和功耗不变下，性能的指数级增长已经放缓，计算技术发展日新月异下，各行各业正在发展生成式AI。

生成式AI的兴起需要更加强大的推理计算平台，它的应用数量是无限的，唯一的限制就是人类的想象力。

黄仁勋进一步指出，生成式AI的能力让企业产生紧张感，进而重新思考产品和商业模式，企业竞相实施数位化转型，成为软件驱动的科技公司。在这一波生成式AI浪潮下，要成为颠覆者，而不是被颠覆者。

英伟达在GTC中宣布推出四款推理平台，针对各种快速兴起的生成式AI应用进行了优化。这些平台将NVIDIA的全栈推理软件与最新的NVIDIA Ada、Hopper和Grace Hopper处理器相结合，包括今天推出的L4 Tensor Core GPU和H100 NVL GPU。各平台针对AI视频、图像生成、大型语言模型部署、推荐系统推理等需求激增的工作负载进行了优化。

适用于AI视频的NVIDIA L4：提供比CPU高出120倍的AI视频性能，同时能效提高了99%，这款通用GPU提供更加强大的视频解码和转码能力、视频流式传输、增强现实、生成式AI视频等。

适用于图像生成的NVIDIA L40：针对图形以及AI支持的2D、视频和3D图像生成进行了优化。 L40平台是NVIDIA Omniverse（用于在数据中心构建和运行元宇宙应用的平台）的引擎，与上一代产品相比，其Stable Diffusion推理性能提高了7倍，Omniverse性能提高了12倍。

适用于大型语言模型部署的NVIDIA H100 NVL：规模化部署像ChatGPT这样的大型语言模型（LLMs）的理想平台。这款新的H100 NVL拥有94GB内存和Transformer引擎加速，在数据中心规模，与上一代A100相比，GPT-3上的推理性能提高了多达12倍。

适用于推荐模型的NVIDIA Grace Hopper：是图形推荐模型、矢量数据库和图神经网络的理想平台。通过NVLink-C2C以900 GB/s 的速度连接CPU和GPU，Grace Hopper的数据传输和查询速度比PCIe 5.0快了7倍。

英伟达推出的这四款推理平台的早期采用者包括：

谷歌云：英伟达推理平台的重要云合作伙伴和早期客户。谷歌云正在将L4平台整合到其机器学习平台Vertex AI中，并且是第一家提供L4实例的云服务提供商，其G2虚拟机的私人预览版已于今天推出。

英伟达和谷歌今天分别宣布了首批在谷歌云上使用L4的两家机构——Descript和WOMBO，前者使用生成式AI帮助创作者制作视频和播客，后者提供“Dream”这一AI驱动的文本-数字艺术转换应用程序。

快手：提供了一个短视频应用程序，利用GPU对传入的实时流媒体视频进行解码、捕捉关键帧并优化音视频。它使用一个基于Transformer的大型模型理解多模态内容，从而提高全球数亿用户的点击率。

生成式AI技术平台D-ID：通过使用NVIDIA L40 GPU从文本中生成逼真的数字人，支持任何内容来生成人脸，不仅帮助专业人士改进视频内容，同时减少了大规模视频制作的成本和麻烦。

AI制作工作室Seyhan Lee：使用生成式AI为电影、广播和娱乐行业开发沉浸式体验和创意内容。

加拿大AI新创公司Cohere：借着英伟达的H100推理平台可以使用先进的生成式模型推动对话式AI、多语言企业搜索、信息提取等各种NLP应用的发展。

携手ASML、台积电、新思，将光刻技术软件库整合进GPU

英伟达也宣布推出一项将加速计算引入计算光刻技术领域的突破性成果。在当前生产工艺接近物理极限的情况下，这项突破使ASML、台积电和新思科技等半导体行业领导者能够加快新一代芯片的设计和制造。

台积电和EDA供应商新思正在将全新的NVIDIA cuLitho计算光刻技术软件库整合到最新一代NVIDIA Hopper 架构GPU的软件、制造工艺和系统中。光刻机大厂 ASML正在GPU和cuLitho方面与NVIDIA展开合作，并正在计划在其所有计算光刻软件产品中加入对GPU的支持。

通过这技术，未来的芯片能够有更小的晶体管和导线，同时加快产品上市时间，可提高大型数据中心的能效。

黄仁勋表示：“芯片行业是全球几乎所有其他行业的基础。光刻技术已临近物理极限，NVIDIA cuLitho的推出以及与台积电、ASML 和新思科技的合作将使晶圆厂能够提高产量、减少碳足迹并为2纳米及更高工艺奠定基础。”

cuLitho在GPU上运行的性能比当前光刻技术工艺提高了40倍，能够为目前每年消耗数百亿CPU小时的大规模计算工作负载提供加速。

凭借这项技术，500个NVIDIA DGX H100系统即可完成原本需要4万个CPU系统才能完成的工作，同时运行计算光刻工艺的所有流程，助力降低耗电以及对环境的影响。

在短期内，使用cuLitho的晶圆厂每天的光掩模产量可增加3～5倍，而耗电量可以比当前配置降低9倍。原本需要两周时间才能完成的光掩模现在可以在一夜之间完成。

台积电首席执行官魏哲家表示：“cuLitho 团队通过将昂贵的操作转移到 GPU，在加速计算光刻方面取得了令人钦佩的进展。这项成果为TSMC在芯片制造中更大范围地部署反演光刻技术、深度学习等光刻解决方案提供了新的可能性，为半导体行业规模的持续扩大做出了重要贡献。”

ASML首席执行官Peter Wennink表示：“我们计划在所有计算光刻软件产品中加入对GPU的支持。ASML与NVIDIA在GPU和cuLitho上的合作预计会给计算光刻技术，乃至整个半导体行业的发展带来巨大的益处。这一点在High-NA EUV光刻时代将变得尤为明显。”

新思科技Synopsys董事长兼首席执行官Aart de Geus表示：“计算光刻技术，尤其是光学邻近修正（OPC）正在推动先进芯片计算工作负载的边界。通过与英伟达合作，Synopsys OPC软件将在cuLitho平台上运行，可将原本需要数周才能完成的工作大幅缩短到数天。”