OAK Series 3介绍

OAK Series 3介绍

Series 3

OAK Series 3的产品将会搭第三代VPU(Keem Bay)。与上一代VPU Myriad X相比,Keem Bay集成了四核ARM A53,可运行YOCTO Linux,AI推理性能至少提高5倍,立体深度感知将增强。目前,官方消息表示,将会在今年第四季度上市。

Series 3保持了向后兼容性,所以为Myriad X编写的pipeline仍然可以在Keem Bay上运行。

官方的计划是在2022年第四季度正式发布Series 3产品,不过可能会因为供应链等问题有所延迟,最新信息请关注OAK中国各个平台。

四核ARM

有一个四核ARM A53 1.5GHz的Neon技术和浮点扩展(运行Yocto 2.71,Linux内核5.3)集成到VPU中,类似于有Myriad X + Raspberry Pi 3B+(四核A53 1.4GHz),这可以使最终项目和产品更加紧凑。

用户可以完全访问Yocto操作系统(通过SSH),也可以像以前的版本(如OAK-D、OAK-D-Lite)一样使用S3 OAK相机——通过USB连接到电脑上,然后直接启动一个应用程序。有了板载计算能力,程序/应用将能够在设备本身进行完整的模型解码,这将使DepthAI应用更加灵活,延迟更低。

AI性能提升

我们自己没有做任何测试,但根据英特尔的测试,与Myriad X相比,Keem Bay有>10倍的DL推理性能。实际数字真的取决于你所使用的AI模型。一些模型可能只有3.5倍的性能提升,而其他模型与Myriad X的性能相比可能有20倍的性能提升。

Keem Bay支持FP16和INT8数据类型。他们也提供了模型量化的工具,所以转换模型与转换Myriad X(支持FP16)的模型没有任何区别。

Keem Bay集成了20个DPU(数据处理单元),能够提供5.12 TOPS(INT8)或1.28 TFLOPS(FP16)。它支持稀疏加速和压缩,使有效的TOPs增加2倍,达到20TOPS,有效的FPS性能增加2倍以上。

Keem Bay参数

VPU时钟500 MHz
ResNet-50 性能每秒240个推理
AI 算力3.0 TOPS
SHAVE 处理器数12
计算机视觉以 1.0 GB/s加速CV/Warp,支持 6DOF
深度720P@180 FPS
视频编码最大4K@75FPS, H.264、H.265 、JPEG编码
视频解码最大4K@60FPS, 最大10通道:1080P/30FPS, H.264、H.265、JPEG编码
图像处理ISP,最多支持6个相机,500 MP/s HDR, TNF, 3A, ULL. 4K/60FPS
接口 多个I2C、Quad-SPI、I2S、UART、PCIe Gen4 interfaces、 USB 3.1/2、 1GB 网口、GPIOs
工作温度-40°C ~105°C (与Myriad X一样)
RAM支持2x 32位 DRAM 1600-2133 MHz

ResNet-50的性能是在INT8量化和(最大)本地优化以及权重稀疏度为50%的情况下测量的。

本地媒体支持

  • GStreamer框架
  • 用于计算机视觉的OpenCV(或G-API)
  • 视频加速API/英特尔媒体SDK用于编码和解码