郑伟民院士谈国产GPU：60%硬件性能+好生态，好过80%硬件性能+坏生态

精彩观点：

好生态看两点，一是基于系统做的软件能够比较容易地一直到新系统里；二是新写一个软件比较顺滑。

60%硬件性能+好生态，好过80%硬件性能+坏生态。

对于大模型研究基础设施，要考虑四个问题：第一，半精度运算性能与双精度运算性能的平衡；第二建好网络；第三内存数据负载平衡；第四Io子系统容错检查点设置。

9月5日，2023百度云智大会在北京召开。中国工程院院士，清华大学计算机科学与技术系教授、博士生导师，高性能计算研究所所长郑伟民院士发表讲话，用专业、朴实的话语总结国产GPU用不好的问题，一针见血，并从两大方面提出解决办法。

郑院士认为，国产GPU芯片产品很多，但软生态做的不行。这是国产GPU产品打不过国外产品的根本原因。

以下为演讲内容实录：

现在是一个什么情况呢？国外GPU产品涨价卖，国内GPU产品卖不好，国产GPU产品不好用的主要原因，并不是硬件性能问题，主要是生态问题。

我认为，国产GPU芯片产品能有国外芯片60%的硬件性能，再把这些软件编译系统都做好，就很好。如果国产GPU硬件性能做到国外性能的80%，但编译环境没做好，大家也不满意。大家不喜欢是你的环境，因此抱怨国产卡性能太差。

如何评价是不是好的生态？看两点：

1、基于系统做的软件，比较容易移植到新系统里

2、新写一个软件，写起来比较顺

目前，我们国产GPU芯片已经很多，厂商更多的把力气花在把芯片做好，但在生态上做得不够多，未来需要花大力气、下功夫来把生态做好。

推进国产系统的大模型，要做好两点，第一要改变国产卡的生态系统不好的局面；第二，大模型基础设施平衡设计的四点考虑要做好。

对于大模型研究基础设施，要考虑四个问题：

1、半精度运算性能与双精度运算性能的平衡

不要认为大模型就是单精度16位就行了，大模型其实也需要64位双精度。大模型设计中不仅要考虑半精度运算性能，还要考虑双精度运算能力，双精度与半精度运算性能之比为1: 100比较合适。特别是科学计算(AI For Science)和大模型训练的发展趋势，变精度平衡设计的思想很重要，适应科学计算和更广泛的AI算法和应用。

2、建好网络。

有的大模型用了10000张卡，这10000张卡如何将它们连接在一起？就做好网络，要高带宽和低延迟。

在训练过程中，我们采用了不同的运行方式：数据并行、模型并行和专家并行，这三种并行方式都要用到，但这三种方式对互联有不同的要求。

比如，数据并行的通信次数多，网络需要快速运行。如果通信次数多、网络慢，那就会出现延迟问题。我们要想办法让数据并行的机器网络变快，怎么做？直连，直接一条路就到。

而模型并行和专家并行的数据交换次数相对少，通信慢一点也行。把通信做好，大模型才能顺畅跑通。

3、内存

第一点，大模型数据量很大，它有很多CPU和内核。这么多核同时发访问请求，访问内存，这么多访问请求在路上就会堵塞。怎么做不让它堵塞是内存需要解决的一个问题。

第二点，如此多的请求都会访问一个内存模块，这个模块也是难以承受的。我们需要想办法将多个请求拉开，组合一下，请求少一点且不阻塞，内存数据需实现负载平衡执行。

4、做好Io子系统

io系统要做得好，特别是我提到的容错检查点。机器在执行大规模训练任务负载重，发生错误概率高训练过程中，平均每小时都会发生一次硬件、软件错误。有些大模型训练时间过长，例如一个月训练1万块卡以上的系统，基本上一两天就要出一次错。因此，写容错检查点在大规模训练中至关重要。

假设我每隔20个分钟就做一次检查设置，把所有数据存到硬盘里，以后再继续算。模型参数量大，检查点需要存储的数据多，写检查点需要耗费大量时间。如何优化检查点存储是大模型训练的重要问题。

以上这四件事情解决了，可能GPU一块卡能发挥两块卡的作用，也就是人家用10000块GPU，你用9000块就可以。

立即扫码

免费报名线下参会

推荐清华大学出版社《芯片力量》芯片力量 ：荣登京东周榜第三名

近日，由清华大学出版社出版，亚太芯谷科技研究院研究员李海俊博士与院长冯明宪博士共同编著的《芯片力量全球半导体征程与AI智造实录》获得了读者朋友们的广泛认可，荣登京东图书销量榜计算机与互联网类图书周榜第三名。

冯明宪博士兼任芯榜公司执行董事，恭喜冯博士。