GPU供不应求？英伟达有了新办法！

来源:半导体行业观察发布时间:2023-07-281298浏览

来源：内容由半导体行业观察（ID：icbank）编译自hpcwire，谢谢。

Nvidia 现在正在向那些渴望访问其硬件和软件包的人出租其自主研发的人工智能超级计算机，并在云端提供最新的 GPU。

DGX Cloud服务将包括其高性能AI硬件，包括目前供不应求的H100和A100 GPU。用户将能够通过英伟达自己的云基础设施或甲骨文的云服务来租用系统。

Nvidia DGX 平台高级总监 Tony Paikeday 表示：“DGX Cloud 在全球范围内可用，但受美国出口管制的地区除外。”

该云将在 Nvidia 的云基础设施中提供，其中包括位于美国和英国的 DGX 系统。DGX Cloud 也将通过 Oracle 云基础设施提供。

Nvidia 在 3 月份的 GTC 会议上首次宣布了 DGX 云服务，随后宣布广泛推出该服务。周二发布的公告是继上周发布的一系列云人工智能公告之后发布的。

竞争对手 Cerebras Systems 正在中东云提供商 G42 运行的云服务中安装人工智能系统，该系统将提供 36 exaflops 的性能。特斯拉宣布开始生产 Dojo 超级计算机，该计算机将运行其自主研发的 D1 芯片，到明年年底可提供 100 exaflops 的性能。基准因数据类型而异。

特斯拉首席执行官埃隆·马斯克上周谈到了其现有人工智能硬件的 Nvidia GPU 短缺问题，特斯拉正在等待供应。用户可以在 DGX Cloud 上锁定对 Nvidia 硬件和软件的访问，但要付出高昂的代价。

DGX Cloud 租赁包括访问 Nvidia 的云计算机，每台云计算机都配有 H100 或 A100 GPU 和 640GB GPU 内存，公司可以在其上运行 AI 应用程序。英伟达的目标是像工厂一样运行其人工智能基础设施——输入数据作为原材料，输出是公司可以投入使用的可用信息。客户不用担心中间的软件和硬件。

Paikeday 还提到，“ DGX Cloud 满足了一项关键需求：用于大型复杂生成 AI 模型（如大型语言模型）的多节点训练的专用计算。Paikeday继续说道，“企业还将获得深厚的技术专业知识来部署和运营支持此类工作负载的环境。” 

DGX 云的起价为每月每个实例 36,999 美元。

这大约是 Microsoft Azure ND96asr 实例价格的两倍，该实例配备 8 个 Nvidia A100 GPU、96 个 CPU 内核和 900GB RAM，每月费用为 19,854 美元。Nvidia 的基本价格包括 AI Enterprise 软件，该软件提供对大型语言模型和工具的访问来开发 AI 应用程序。

租赁的产品包括一个名为 Base Command Platform 的软件界面，以便公司管理和监控 DGX Cloud 培训工作负载。Oracle Cloud 拥有多达 512 个 Nvidia GPU 的集群，具有每秒 200 GB 的 RDMA 网络，并支持多个文件系统（例如 Lustre）。

所有主要云提供商都有自己的 Nvidia H100 和 A100 GPU 部署，这与 DGX Cloud 不同。

谷歌今年早些时候发布了配备 26,000 个 Nvidia H100 Hopper GPU 的 A3 超级计算机，其设置类似于 Nvidia 的 DGX Superpod，跨越 127 个 DGX 节点，每个节点配备 8 个 H100 GPU。带有 P5 实例的亚马逊 AWS EC2 UltraClusters 将基于 H100。

“我们希望 DGX Cloud 能够吸引新的生成式 AI 客户和工作负载到我们合作伙伴的云中，”Paikeday 说。

锁定也随之而来——Nvidia 正试图让客户使用基于 CUDA 编程模型的专有 AI 硬件和软件技术。从长远来看，这可能会给公司带来高昂的成本，因为他们需要支付软件许可证和 GPU 时间的费用。英伟达表示，对人工智能的投资将以长期运营节省的形式使公司受益。

人工智能社区正在推动开源模型，并反对专有模型和工具，但英伟达在人工智能硬件市场上占据着主导地位。Nvidia 是少数能够提供硬件和软件堆栈及服务，使机器学习的实际实施成为可能的公司之一。

人们对 Nvidia 的人工智能硬件产生了兴趣，因为人们急于利用生成式人工智能的前景。OpenAI 的 ChatGPT 以聊天机器人的形式展示了人工智能的功能，但现在针对包括医疗保健、保险和金融在内的垂直市场正在出现新的模型。

👇👇点击文末【阅读原文】，可查看原文链接！

*免责声明：本文由作者原创。文章内容系作者个人观点，半导体行业观察转载仅为了传达一种不同的观点，不代表半导体行业观察对该观点赞同或支持，如果有任何异议，欢迎联系半导体行业观察。

今天是《半导体行业观察》为您分享的第3476期内容，欢迎关注。

GPU供不应求？英伟达有了新办法！

全部评论

热门搜索