RISC-V芯片的里程碑，支持生成式AI

来源:半导体行业观察发布时间:2023-04-211122浏览

来源：内容由半导体行业观察（ID：icbank）综合自design-reuse，谢谢。

基于 RISC-V 指令集的高性能、高能效人工智能解决方案的领先开发商Esperanto Technologies今天宣布，它已经移植并正在运行一系列生成式AI 在其低功耗 RISC-V 硬件上建模。Esperanto 计划为 RISC-V 社区的研究人员提供访问权限，作为该公司帮助更广泛行业“人工智能民主化”并帮助加速 RISC-V 生成人工智能技术开发的使命的一部分。

这一发展是 Esperanto 将 RISC-V 技术在人工智能和通用应用程序中的优势从云扩展到边缘的战略的一部分。Esperanto 的生成式 AI 工作的重点领域包括大型语言模型 (LLM) 的用例，其中与现有产品相比，使用低功耗硬件并降低总拥有成本 (TCO) 是关键。

特别是，Meta 的Open Pre-Trained Transformer (OPT) 模型的多个版本现在以多种精度级别和上下文大小在 Esperanto 的硬件上运行，功率级别低至每芯片 25W 以进行推理。Esperanto 的机器学习软件开发套件支持将 OPT 模型快速移植到 ET-SoC-1 芯片上，该公司的商业客户目前正在使用该套件。出于研发目的获准访问 Esperanto 解决方案的研究人员将需要遵守 Meta 的开源许可以及其他计划条款。

Esperanto Technologies 总裁兼首席执行官 Art Swift 表示：“生成式 AI 是机器学习领域的最新进展之一，我们很高兴将我们在大型语言模型领域的努力贡献给 RISC-V 研究社区。”

“Penguin Computing 很荣幸成为 Esperanto 的战略合作伙伴，帮助加速部署高性能、低功耗的生成式 AI 解决方案，”Penguin Solutions 总裁兼 Smart Global Holdings 智能平台解决方案高级副总裁 Thierry Pellegrino 说。“我们很高兴与 Esperanto 合作，将其 RISC-V 解决方案的部署扩展到更广泛的客户群，这些客户正在寻找低功耗人工智能推理解决方案并降低总拥有成本。”

“对 RISC-V 日益增长的兴趣标志着半导体行业的一个重要转折点。生成 AI 领域的这一发展将进一步加速 RISC-V 的评估，研究人员在这个激动人心的领域寻求突破，开发人员寻求增加现有平台无法提供的竞争优势，”该公司首席执行官兼首席执行官 Ben Bajarin 说。

RISC-V International 首席执行官 Calista Redmond 表示：“RISC-V 为协作和定制提供了无与伦比的机会，使其非常适合下一波人工智能创新。” “Esperanto 是该领域的领先公司之一，它突破了性能和能效的极限，使生成式 AI 开发更容易获得。”

对于商业客户，Esperanto 目前正在交付 AI 评估服务器，这些服务器提供高性能、高能效和低 TCO。每个 Esperanto 评估服务器均采用标准 2U 高外形规格，包括双 Xeon 主机处理器和 8 或 16 个 ET-SoC-1 PCIe 卡。每个 Esperanto PCIe 卡都有超过 1,000 个 64 位 RISC-V CPU，并附有矢量/张量单元，每台服务器最多可提供 16,000 个 RISC-V CPU。Esperanto 的评估服务器使客户能够从运行各种行业标准 AI 模型中获取性能和功率数据，以及自带模型和数据的能力。

一颗拥有1000多个RISC-V内核的AI芯片

近日，基于 RISC-V 指令集的高性能、高能效机器学习 (ML) 推理加速器开发商 Esperanto Technologies 今天宣布，公司创始人兼执行官董事长 Dave Ditzel 在Hot Chips 33 大会上详细介绍了该公司新型的 ET-SoC-1“片上超级计算机”的新细节。据了解，Esperanto 的 ML 推理加速器具有一千多个 RISC-V 定制处理器内核，旨在成为最高性能的商用 RISC-V 芯片。

资料显示，Esperanto 基于 RISC-V 的推理芯片旨在满足大型数据中心客户的高性能但仍然能够满足风冷和低功耗的要求，作为一种通用的并行处理解决方案，Esperanto的芯片可以加速许多可并行化的工作负载。报道指出，Esperanto的芯片旨在以低于 20 瓦的功率运行，以适应企业客户苛刻的系统功率限制。该芯片包括超过一千个节能 RISC-V、ET-Minion 处理器内核，每个内核都有自己的自定义矢量/张量单元、四个高性能乱序 RISC-V、ET-Maxion处理器内核和一个高性能存储系统。

据了解，Esperanto 芯片在在机器学习推荐模型方面表现出色，机器学习推荐模型是许多大型数据中心中最重要的 AI 工作负载类型之一。该公司还宣布，预计将在今年晚些时候为合格客户启动一项抢先体验计划。

Cambrian 创始人兼首席分析师 Karl Freund 表示：“这款新型 AI 芯片的能效和内存带宽给我留下了深刻的印象，这是我们在高性能数据中心工作负载看到的第一个也是最快的与人工智能相关的RISC-V 设计”。

此外，使用标准 RISC-V 内核对程序员来说还有很多好处，包括灵活性和轻松优化代码的能力。”

Semico Research Corporation 的首席市场分析师 Rich Wawrzyniak 表示：“Esperanto 的芯片专注于高吞吐量和高能效。” “由于有如此多的 RISC-V 内核同时运行，因此能够处理使用低电压方法运行的超大型模型，真正实现了优越的每瓦性能。”

附演讲slide