(资料图)

视海芯图2020年成立,之后几年间先后引入包括舜宇光学、网易有道以及虹软科技三家上市公司战略投资,公司也与战略投资方进行深度合作,推出了3D视觉加速芯片。

日前,视海芯图创始人、董事长许达文在第十三届松山湖中国IC创新高峰论坛上,介绍了公司即将量产的第二颗芯片——支持多模态加速的SH1580。

Transformer由于具有全局特性以及知识迁移性等特性,目前在COCO排行榜中远高于CNN,再加上ChatGPT火热带来Transformer的认同度越来越高,因此目前更多的框架都在从CNN切换至Transformer。

许达文表示,在云端,Transformer可以通过GPU实现,但在边缘终端,目前Transformer加速的NPU还不能很好的支持Transformer。“Transformer结构区别于传统的CNN结构,Transformer更多是以数据为中心的计算架构,一些访存密集型算子要么很难映射到NPU,要么就是映射效率低,需要CPU联合配合。”

SH1580通过集成Transformer加速架构,试图解决这一问题。其独创的PTPU(多态张量处理器)架构,通过可重构数据流设计,可以兼顾CNN与Transformer加速。

许达文表示,由于Transformer是数据密集型的AI模型,因此做了数据压缩处理架构,通过改造的DMA,实现了数据存取和计算的兼容。

这种灵活的基于Transformer的加速器,可以灵活满足各种复杂的场景和算法要求,这对于AR/VR设备而言非常有价值。

许达文举例道,针对XR常用的SLAM功能,CNN很难实现比如墙之类的无纹理特征场景识别,Transformer可以准确识别。在地点识别和匹配上所需要的SVT-Net也是Transformer的强项。另外语义的分割识别,也是Transformer的一大强项。而在三维重建功能上,由于不一定每个环节都可以拍到,因此也需要Transformer。

由于采用专用加速以及独立的电源管理架构,SH1580的功耗在空闲模式时仅有46mW,超长待机模式下功耗则为6mW。

许达文表示,SH1580有两种应用场景,一种是支持单路输入的单芯片轻量级方案,同时也可以作为协处理器,通过DP接口与高通SoC连接。

标签: