人工智能时代下,中国智慧视觉产业迎来发展机遇,根据艾瑞咨询发布的《2020年中国人工智能产业研究报告III》,2020年我国智慧视觉核心产品的市场规模占整个人工智能行业的57%,达到862.1亿元。一款高性能、高能效比、低成本的端侧智能视觉芯片,是各类应用所需要的。
在日前举办的第十一届松山湖中国 IC 创新高峰论坛上,时擎智能科技带来了自主研发的新一代 RISC-V架构的端侧智慧视觉芯片 AT5055。
时擎智能科技(上海)有限公司总裁于欣
据时擎智能科技总裁于欣介绍,AT5055搭载时擎科技自研RV32 IMCF的TM800处理器@800MHz,2.3DMIPS/MHZ,3.8 CoreMark/MHz;存储上32-bit DDR2/DDR3,安全支持AES/ECC/SHA/TRNG/OTP,支持安全启动;具备Ethernet/USB/SDIO/UART/I2C/SPI/ADC/PWM等外设。封装规格为QFN128,12mm x 12mm,合封DDR。
AT5055端侧智能视觉芯片规格
AI能力上,搭载Timesformer Bumblebee 600V处理器,完成整网神经网络处理,包括前处理、后处理,无需额外CPU辅助,减少调度、通信开销。更丰富、灵活的算子,减少CPU操作。通过向量加速、专用处理器进一步提升卷积以外的性能。支持权重、数据压缩和静态/动态数据流调度。节省DDR带宽,提高数据搬运效率。
超高硬件利用率,仅以0.6T算力即可支持竞品需要1T以上算力的实时人脸检测、人形检测等典型应用,同时支持各类主流网络结构和各类神经网络后处理tensorflow/pytorch框架以及CV图像处理和语音声学前处理DSP算法。
多媒体处理上,AT5055支持双目视觉的完整视频通路,包括支持TOF sensor及TOF ISP,可应用于各类3D视觉应用;高性能ISP、H.265视频编解码和1080P显示的解决方案,支持4+2麦克风阵列,并内置多麦降噪和本地语音识别算法。另外,AT5055支持多路mipi/dvp的图像传感器输入的数据通路,根据Sensor类型和应用需求进行灵活组合,满足双目视觉,活体检测等各类应用需求。提供丰富的输出显示支持,适配3-10寸各类MIPI/RGB接口的主流屏幕,适配HDMI图像调试接口。
在ISP图像处理中,如果采用传统单帧宽动态技术,sensor输出高bit数据全局映射到低比特输出,可以大幅改善高对比度场景以及夜晚暗部场景的亮度表现,同时不会引入太多色彩噪声。
如果采用单帧非局部去噪方法。先使用本帧内像素匹配形成基础噪声估计,再通过原图和基础估计进行更细致的去噪。可以大幅改善夜晚等暗光场景的亮度表现、
使用基于场景的调色模块,可以在识别场景语义的先验信息的情况下,智能的调节WB、AE、LUT等参数,达到输出影像级的色彩效果。
如使用基于场景的暗光增强模块,在不显著增加噪声的情况下,大幅提升图像观感。使用丰富的训练场景,可以使ISP在暗光增强的同时,学习特殊的色彩风格。
对比传统多处理器开发方案,时擎科技基于全部自研的RISC-V处理器可以提供“一站式”开发环境大幅简化异构芯片编程、调试,提高开发效率,无需开发者过多关注异构多核之间的通信交互和任务调度。
于欣表示,市面上大多数芯片厂商需要license第三方的算法以及第三方的IP, 算法适配时开发效率低下,甚至无法有效发挥硬件性能。而时擎芯片+处理IP全自研可以大幅提高算法、方案开发效率并充分发挥芯片性能。