集成10000个H100，特斯拉最强集群上线

来源:半导体行业观察发布时间:2023-08-29635浏览

来源：内容由半导体行业观察（ID：icbank）编译自tomshardware，谢谢。

据Twitter博主SawyerMerritt透露，特斯拉庞大且非常昂贵的，集成10,000 个NVIDIA H100 GPU 的集群将在今日上线，这将有助于帮助其训练 FSD。据透露，该集群的整体耗资高达三亿美元。

该机器将用于各种人工智能（AI）应用，但该集群功能非常强大，也可用于要求苛刻的高性能计算（HPC）工作负载。事实上，基于 Nvidia H100 的超级计算机将成为世界上最强大的机器之一。

关于这颗备受关注的H100，SawyerMerritt解析道，这款售价约 4 万美元的 GPU 于 2022 年末推出。比 A100 快 30 倍，AI 训练速度快 9 倍。H100 专为视频训练（FSD 视频）等图形密集型工作负载而设计，并且易于扩展，拥有18,432 个 CUDA 核心， 640 个张量核心，80 个流式多处理器 (SM) ，比 A100 更高的能耗。与 A100 相比，H100的高性能计算速度快 5 倍以上。这些新的 H100 GPU 将使 Tesla 能够比以往更快更好地训练 FSD。

如上所述，这个采用 10,000 个 Nvidia H100 计算 GPU的集群这将为技术计算提供 340 FP64 PFLOPS 的峰值性能，为人工智能应用提供 39.58 INT8 ExaFLOPS 的峰值性能。事实上，特斯拉的 340 FP64 PFLOPS 高于世界第四高性能超级计算机 Leonardo 提供的 304 FP64 PFLOPS。

凭借其新型超级计算机，特斯拉正在显着增强其计算能力，以比以往更快的速度训练其全自动驾驶（FSD）技术。这不仅可以使特斯拉比其他汽车制造商更具竞争力，而且将使该公司成为世界上最快的超级计算机之一的所有者。

“由于现实世界的视频训练，我们可能拥有世界上最大的训练数据集，热层缓存容量超过 200PB，比LLM高出几个数量级，”特斯拉 AI 基础设施和 AI 平台工程经理 Tim Zaman 解释道。

虽然基于 H100 的新集群将显着提高 Tesla 的训练速度，但 Nvidia 正在努力满足对这些 GPU 的需求。因此，特斯拉投资超过 10 亿美元开发自己的超级计算机 Dojo，该计算机基于定制设计、高度优化的片上系统构建。

Dojo 不仅将加速 FSD 训练，还将管理特斯拉整个车队的数据处理。特斯拉同时将其 Nvidia H100 GPU 集群与 Dojo 一起上线，此举将为该公司在汽车行业提供无与伦比的计算能力。

埃隆马斯克在上个月也说道：“坦白说……如果他们（NVIDIA）能够为我们提供足够的 GPU，我们可能就不需要 Dojo。” 所以，Tesla 在激活 Dojo 的同时，还上线了 NVIDIA H100 GPU 集群。这将极大地将特斯拉的计算能力提高到目前其他汽车制造商无法想象的水平。下面看一下 Tesla 内部对 Dojo 计算能力的预测。大家做好准备。

埃隆·马斯克 (Elon Musk) 最近透露，特斯拉计划在 2023 年投入超过 20 亿美元用于人工智能培训，并在 2024 年再投入 20 亿美元专门用于 FSD 培训的计算。这凸显了特斯拉致力于克服计算瓶颈的承诺，并且应该比其竞争对手提供巨大的优势。

*免责声明：本文由作者原创。文章内容系作者个人观点，半导体行业观察转载仅为了传达一种不同的观点，不代表半导体行业观察对该观点赞同或支持，如果有任何异议，欢迎联系半导体行业观察。

今天是《半导体行业观察》为您分享的第3507期内容，欢迎关注。

集成10000个H100，特斯拉最强集群上线

全部评论

热门搜索