5月12日，由以“AR/VR/XR×元宇宙”为主题的“2023松山湖中国IC创新高峰论坛”正式在广东东莞松山湖召开。成都视海芯图微电子有限公司（以下简称“视海芯图”）发布了旗下新一代多模态智能芯片SH1580。

据视海芯图创始人、董事长许达文介绍，人工智能的发展与芯片的发展息息相关，从简单的BP神经网络到如今的百亿参数大模型，从结构化场景下的模式识别到AR/VR、元宇宙等终端应用，再到如今的GPT人机交互，很多AI模型的主干网络正从CNN转变为Transformer，但是Transformer在终端芯片上往往面临访存密集型、不规则访存，以及NPU利用率低的难题。

针对这一问题，视海芯图自研了核心的多态神经网络处理器PTPU架构，该架构可同时支持Transformer存储结构和访存优化；原生动态网络支持
可重构数据流，同时高效支持CNN和Transformer；数据压缩与压缩处理架构(同时支持多种精度)；支持( DMA)随路操作；可重构数据流，同时高效支持CNN和Transformer；支持混合精度。

视海芯图此次发布的Transformer加速SoC——SH1580正是基于其自主设计的多态神经网络处理器PTPU架构的NPU和3D视觉ISP，配备了4核Arm Cortex-A53 CPU，采用的12nm制程工艺。性能方面，SH1580集成的PTPU具备2 Tops@INT8算力，不仅能支持善于提取局部特征的CNN，也对Transformer、Bert和点云神经网络等新兴AI模型有针对性加速效果；SH1580集成的3D视觉ISP，支持AI-HDR、3D-ToF图像处理，支持6路RGB、1路ToF，也支持RGBD融合视觉。

在功耗方面，SH1580得益于12nm先进制程，以及芯片本身的低功耗设计，独立电源域芯片架构，软硬件协调优化，使得其整体的功耗表现非常出色。在idle功耗模式下，功耗（LPDDR4 1GB）46mW；在S3功耗模式下，功耗仅6mW。

除了芯片本身之外，视海芯图还提供了完整的工具链，包括量化部分、编译器、驱动、模拟器、调试器等。量化方面，不仅有混合精度量化，还有训练后的量化，以及量化感知的训练。在编译器方面，可同时支持CNN和Transformer，同时支持算子的融合，还有CPU和NPU两者的异构计算。还有图算一体，包括动态图的结构。

具体在AR/VR应用方面，为了能够让数字世界跟物理世界实现深层次的融合，需要把数字信息映射到物理世界中。这就需要场景识别功能，还需要支持混合性输入，包括图像输入、语音输入。特别是图像输入这块，往往要输入、接收2D、3D图像。这么复杂的一些场景和算法的话，它就需要一个配套的算法来支撑。

SH1580在SLAM中可以做特征点匹配LoFTR、地点识别SVT-Net。另外，在AR/VR设备的应用中还能实现语义分割 SegFormer以及三维重建 Point-Bert。传统CNN算法很难做稀疏纹理匹配，但是SH1580支持的Transformer可以做到准确的无纹理特征识别。

据许达文介绍，视海芯图此次推出的新一代多模态智能芯片SH1580今年已经完成量产，现在已经出货达到1K以上的订单。

编辑：芯智讯-浪客剑