面向AR/VR应用，视海芯图推出新一代多模态智能芯片SH1580

来源:芯智讯发布时间:2023-05-131114浏览

5月12日，由以“AR/VR/XR×元宇宙”为主题的“2023松山湖中国IC创新高峰论坛”正式在广东东莞松山湖召开。成都视海芯图微电子有限公司（以下简称“视海芯图”）发布了旗下新一代多模态智能芯片SH1580。

据视海芯图创始人、董事长许达文介绍，人工智能的发展与芯片的发展息息相关，从简单的BP神经网络到如今的百亿参数大模型，从结构化场景下的模式识别到AR/VR、元宇宙等终端应用，再到如今的GPT人机交互，很多AI模型的主干网络正从CNN转变为Transformer，但是Transformer在终端芯片上往往面临访存密集型、不规则访存，以及NPU利用率低的难题。

针对这一问题，视海芯图自研了核心的多态神经网络处理器PTPU架构，该架构可同时支持Transformer的存储结构和访存优化；原生动态网络支持
可重构数据流，同时高效支持CNN和Transformer；数据压缩与压缩处理架构(同时支持多种精度)；支持( DMA)随路操作；可重构数据流，同时高效支持CNN和Transformer；支持混合精度。

视海芯图此次发布的Transformer加速SoC——SH1580正是基于其自主设计的多态神经网络处理器PTPU架构的NPU和3D视觉ISP，配备了4核Arm Cortex-A53 CPU，采用的12nm制程工艺。性能方面，SH1580集成的PTPU具备2 Tops@INT8算力，不仅能支持善于提取局部特征的CNN，也对Transformer、Bert和点云神经网络等新兴AI模型有针对性加速效果；SH1580集成的3D视觉ISP，支持AI-HDR、3D-ToF图像处理，支持6路RGB、1路ToF，也支持RGBD融合视觉。

在功耗方面，SH1580得益于12nm先进制程，以及芯片本身的低功耗设计，独立电源域芯片架构，软硬件协调优化，使得其整体的功耗表现非常出色。在idle功耗模式下，功耗（LPDDR4 1GB）46mW；在S3功耗模式下，功耗仅6mW。

除了芯片本身之外，视海芯图还提供了完整的工具链，包括量化部分、编译器、驱动、模拟器、调试器等。量化方面，不仅有混合精度量化，还有训练后的量化，以及量化感知的训练。在编译器方面，可同时支持CNN和Transformer，同时支持算子的融合，还有CPU和NPU两者的异构计算。还有图算一体，包括动态图的结构。