生成式AI背后的全套硬件长这样...

来源:电子工程专辑发布时间:2023-07-172196浏览

前言

今年WAIC最热门的当然就是生成式AI了，毕竟ChatGPT在过去这些时间那么火，主要的大算力AI芯片厂商都在WAIC上展示他们的生成式AI成果...

今年WAIC(世界人工智能大会)参展的大部分有大算力资本的企业，都在做生成式AI(或AIGC)的展示，其中也包括燧原科技。其实燧原会在生成式AI上发力，在我们看来是很顺其自然的。毕竟其AI芯片原本就着力于大算力——覆盖大规模训练与推理，自然是要在生成式AI的时代发光发热的。
今年3月，燧原也宣布企业战略升级，要“全面打造AIGC时代的基础设施”——LLM的爆发从技术和市场两方面都为AI行业指明了新的方向。顺着这个思路，我们一起来看看今年燧原在WAIC上都展示了哪些新货。

▲ 芯片、板卡和系统层面，燧原在本届WAIC上没有做更新。关注燧原科技的读者对于这些产品应该不会陌生：上面这两颗，分别是邃思2.5推理芯片和邃思2.0训练芯片，应该算是燧原的第二代产品了。此前电子工程专辑对这些芯片做过专门的介绍。

▲ 云燧T21，里面是邃思2.0芯片，看这个形态就知道是OCP OAM;300W最大功耗;32 TFLOPS FP32算力，128TFLOPS TF32算力，128TFLOPS FP16算力，128FTOPS BF16算力，256TOPS INT8算力;32GB HBM2e内存，1.6TB/s带宽;PCIe 4.0 x16接口，片间互联300GB/s;

▲ 云燧T20，基本属于T21的PCIe版，规格为PCIe全高全长、双槽位;

▲ 云燧i20，基于邃思2.5，是张推理加速卡，不同精度的理论算力与上述板卡产品类似;内存规格16GB HBM2e，819GB/s带宽;150W功耗被动散热。在生成式AI对推理请求数量需求极速增长的今天，这张卡应当会是个大热门;

▲ 其实这台云燧S201-L液冷开放加速计算服务器(8/16张卡)，及其构成的POD集群(8台服务器)，在去年WAIC上也展示过。去年我们也报道了燧原发布这款云燧智算机(CloudBlazer POD)，乃是燧原系统层面的产品补全。“每个单元TF32算力8PetaFLOPS”，“横向扩展藉由‘超千卡规模集群’可突破E级算力”.
今年这套方案(具体是CloudBlazerPOD液冷集群)在WAIC上获得了2023 SAIL Award(Super AI Leader)——SAIL之星。去年张亚林就在演讲中说“液冷是大势所趋”。
现场工作人员告诉我们：“现在不少城市和政府对能耗有要求，特别是大型及以上数据中心：PUE(能源效率，Power Usage Effectiveness)1.3以下才能叫绿色低碳数据中心。我们可以达到1.1以下，在国内的液冷系统中是很靠前的。”“我们在杭州、成都的AI算力中心项目都已经落地了。这种一体化、POD的展现形式可以进行快速的搭建。”

▲ 如文首所述，AI芯片、板卡和系统层级的硬件之外，燧原主要演示的都是AIGC应用。上面这个“文生PPT”是个挺有趣的生成式AI展示，是基于输入自动生成PPT。图片中演示的这个demo是基于“新能源”这个词自动生成的PPT。
在输入“新能源”三个字之后，选择生成大纲——若对大纲满意，则基于大纲选择生成PPT，等待大约50秒的推理，就呈现了相对完整的PPT内容。PPT里面的文字、图片都由模型自动生成。
这个演示用到了不同的开源模型，包括Firefly、Stable Diffusion等。感觉对这个demo精调一下，做更精准的需求输入，做PPT这个活儿的确可以由机器来干了...

▲ 更纯粹的不同聊天机器人的演示。其中LLaMA的这则演示“偏向单问单答的内容生成”，工作人员解释说，“可以让它做文案之类的工作，生成比较长篇的文本”;“而ChatGLM是互动式、多轮对话的应用，它还会不断修正结果”。
这两个演示分别应用了云燧T20和云燧i20——基于上述两个模型对应6B和7B的参数规模，似乎云燧的训练和推理卡的确在类似场景下是可以互通的，即便或许效率上仍然是不一样的。

▲ 还有一些生成式AI的应用，如虚拟数字人播报，以及将生成式AI应用到更具体的领域内——如上图的金融、电力行业，未来AIGC在更多行业的落地需要依托此类模型或训练方式(guardrail)的发展...
实际上，对于芯片企业而言，自己构建完整的AIGC生态，始终是保持客户黏性并扩大市场的关键。这些模型及训练和开发工具就格外重要。这应该也是下面这款名为“曜图”的产品发布的依据。

▲ 这次燧原展位最大的热点就是新发布的“燧原曜图”(LumiCanvas)——这是个和Midjourney有些类似的text-to-image(文生图)服务，也就是输入提示词，对应地生成图片。不过曜图是个企业级方案，燧原在介绍中提到曜图“开箱即用、所见即所得、创意无限”。
虽然在现场我们没有听到燧原谈起曜图的具体业务模式，不过总体来看这是个MaaS(Model-as-a-Service)平台服务。“主要目标客户在游戏、影视等行业。” 现场工程师说，“曜图就像是个基础画板，(客户)可以自己去训练。我们预制了5种算法，客户可以去训练自己想要的模型，效果也会更好。”“网上一些开源的模型，可以直接放到我们的平台上来使用。”
以游戏为例，“有一些客户在做游戏之前，要做游戏角色模型。那么就可以通过我们这个平台去生成他想要的角色图片”，就类似于将原画的工作交给AI完成，“如果对生成的角色满意，还可以指定生成对应的动作，然后按照图片来建模。”
除了底层算力——也就是算力主体的AI芯片、板卡，及系统层面的硬件支持都由燧原提供，工程师告诉我们，燧原也构建起了上层软件栈：“曜图包括了底层硬件，到软件、上层生态，一整套交付。”所以曜图应该是满足企业客户做文生图服务部署的全套方案。
官方资料中提到，“燧原曜图集成了图像预处理、姿态建模、外部模型一键导入等能力，能够胜任多样化应用场景需求。与此同时，它还支持以Excel形式批量导入prompt，单次最多可支持千条prompt导入，充分释放生成效率，提升底层算力资源利用率。”
另外工程师还说，曜图也“包含prompt提示词助手，可能有些小白不了解怎么输提示词，那么就可以选择一些备选进行生成”——这里所说的提示词助手，涵盖了“prompt词典、大师经典作品prompt模板沉淀、逆向prompt等在内的全面prompt工具体系”。
所以这个平台构建了从算力到云服务、模型，再到用户使用的一体化流程，企业客户可以借助曜图，来做模型微调到最终部署，“利用平台工具链加速工作流程，不断迭代和更新”。
曜图应当是燧原落实硬件-系统-软件全栈方案的其中一环。如前所述，这类产品对未来的曜图而言会越来越重要。即便在应用和生态多样性上，英伟达仍然占据相当的优势，曜图对于国内AI芯片企业而言也是AIGC生态构建相当出色的开始。
燧原科技创始人兼COO张亚林说，“燧原曜图的推出，是我们在AIGC战略布局的第一步，通过创新的服务产品与商业模式，基于云的杠杆效果，把算力和服务无缝结合直接赋能到最终用户。”