生成式AI需求飙升 现有数据中心基设面临挑战

随着生成式人工智能（Generative AI）蔚为风潮，各界正争相探查要向生成式AI解决方案投入多少资金、哪些产品值得投资、什么时候开始投资，以及要如何减轻该新兴技术的潜在风险。

然而，目前数据中心现有基础设施是否能够应对生成式AI不断成长的工作负载，应该是网络和IT领导者首先要面对的重点工作。

Network World报导，数据中心营运业者DataBankCEORaul Marynek表示，在训练构成生成式AI系统的大型语言模型（LLM），以及运行基于完成训练的LLM所发展出来的推论应用时，都需要强大的运算能力支持。

在进行训练时，运用接近训练专有（proprietary）数据集的高效能运算（HPC）专用基础设施来进行训练，会有更高的效能，但在进行推论应用时，就需要运用地理更为分散的基础设施，来以更低的延迟，对终端用户的使用提供更快的回应。

这意味，需要在更多的地方建立云端中心，而不是采用目前支持大多数应用程序运行的集中式公共云模型。

除了需要思考生成式AI会对服务器的分布与密度产生影响外，生成式AI也会对数据中心冷却与电力需求，以及可持续性发展规划等产生影响。

尽管NVIDIA、超微（AMD）和英特尔（Intel）等业者的每代AI芯片都在努力提高效能、控制功耗和热量，但数据中心电力需求仍在增加。而随着工作负载快速成长，尤其是生成式AI，预期在可见的未来，必然会对能源与环境带来冲击。

随着传统气冷技术，如使用风扇、管道、通风口和空调系统等，已不足以满足GPU等HPC硬件的冷却需求，也使得透过热交换器循环高导热性冷却剂，来吸收运算产生热量的液冷等技术，受到关注。

Marynek表示，新的数据中心设计需要满足更高的冷却和电力需求，这意味着，未来数据中心将会依靠新的冷却方法，如水冷背门（chilled door）、芯片水冷（water to the chip）与浸没式冷却技术等，来提供正确的电力组合、冷却和可持续性。

而在生成式AI对运算需求飙升的推动下，预计对水冷背门与芯片水冷等冷却技术的需求，也会大幅增加。

此外，拥有可靠且可扩展的自家电力供应设施也会愈来愈成为数据中心营运业者的首要考虑因素。如此一来，既可以满足HPC簇集对电力的需求，也可避免受到公用事业供电的限制。

这意味着，数据中心营运业者建造自家电站的情形，可能会变得更为普遍。

面对生成式AI的兴起，未来数据中心技术设计需要采取如高速存储器、强大的储存／储存区域网络、高效能延迟和中断容忍网络（delay/disruption tolerant networking）、大数据数据库等的技术来因应更高的运算需求。而网络和数据中心团队现在就要为此做好准备。

事实上，不仅是网络和数据中心团队，整个生态系都要做好准备来因应所需要的各种变化，这包括处理工作负载和电力需求增加的芯片供应业者。也只有透过所有方面的合作，才有可能跟上生成式AI带起的需求步伐。

根据Bloomberg Intelligence的预估，未来10年，生成式AI市场将以平均每年成长42%的惊人幅度向上攀升，由2022年的400亿美元成长至2032年的1.3万亿美元。