首款开源嵌入式深度视觉+人工智能开发套件 -OAK介绍

首款开源嵌入式深度视觉+人工智能开发套件 -OAK介绍

在解决嵌入式空间神经网络推理问题的时候(类似于人眼,我们能从不同角度识别物体,还能定位物体的位置,物体的尺寸大小等),我们很难找到一个整合好的,性能强大的软硬件平台,让开发者能够把主要精力集中在自己产品的功能实现上,而不用为了一堆硬件,驱动,兼容性,可移植性,稳定性,功耗而头疼。为了解决这些痛点,OAK诞生了。

OAK-D深度视觉+神经网络推理相机

OAK是一个完整的自定义硬件平台。固件,软件和神经网络推理、深度视觉和物体跟踪结合在一起,30秒一键解决。对于需要在单个设备中实现AI、深度和跟踪功能的用户来说,这是目前非常优秀的一体化解决方案。它也是开源的,包括硬件,软件和AI推理。因此OAK的所有软硬件设计都可作为参考设计,将OAK的功能集成到用户自己的产品中,可以轻松快速地进行产品生产。

OAK全称OpenCV AI Kit,是OpenCV官方指定的计算机视觉和人工智能开发套件。

OpenCV官方在2020年举办的OpenCV Spatial AI竞赛(OpenCV成立20周年庆典的一部分)中的主要任务便是开发利用OpenCV AI套件(OAK-D)的应用程序。英特尔也大力赞助了这次竞赛。

为庆祝OpenCV成立20周年的国际AI竞赛已于2021年1月12日开始。此次竞赛也是使用OAK开发。

在竞赛中,选手们为OAK贡献了很多开源的创新解决方案和代码,能够帮助初学者和相关研究人员快速上手和掌握人工智能相关的开发和研究。

OAK搭载了一颗4K/60fps的彩色摄像头,两颗黑白摄像头用于双目测距。三颗相机直接通过MIPI连接到intel MyriadX 神经网络主芯片, 这使得图像不需要经过主机从而直接用于后续处理,以此节省图像传输的延时,无需主机参与,芯片内部就完成了深度计算和神经推理。

为了使OAK的功能可以更方便的集成到用户的实际产品中,OAK设计者制作了一个核心模块(SoM)把Myriad X和所有的核心功能放在上面,方便用户将模块集成到自己的载板上。

OAK-SoM核心板

部分功能

  • 神经推理,例如:目标检测,图像分类。支持基本上目前所有主流神经网络框架和神经网络
  • 双目测距,利用左右两颗摄像头探测距离
  • 3D对象定位,可以将2D的物体检测扩充到3D(利用双目测距)。
  • H.264和H.265编码,HEVC,1080p和4K 30帧视频编码。
  • 对象跟踪,可以对对象的轨迹进行跟踪记录

我们能用OAK做些什么?

1、所有基于神经网络推理,用于图像检测和分类的事情,如人脸识别、车牌识别、特殊目标识别、图像分割、OCR文字识别等等,不胜枚举。

2、OAK的实时性使它适合用于检测危险的发生。想象一下工地上工人戴着智能头盔,当叉车要驶过工人时会警告工人。又或是这是一辆智能叉车,它可以分辨出什么物体,它在哪里,并防止操作员在有人的地方行驶或是撞到关键设备。深度+AI的结合使这种系统可以在人员,设备等周围建立实时的“虚拟墙”。

3、无人机的感知与回避,在GPS无响应的情况下进行自我导航识别周围环境,寻找合适的地点迫降。

4、OAK可以告诉机器人采摘者草莓的具体位置和成熟度,这样机器人就只会采摘成熟度高的草莓了,而不会采摘成熟度低的草莓。并且可以在采摘/包装过程中按成熟度进行排序。
以上仅仅只是我们简单的设想,事实上大部分需要AI、深度信息的应用都可以使用OAK来完成。

OAK好在哪里?

除非购买高级的双目相机,否则主机需要运行立体匹配算法,这将会占用大量的CPU资源。同时在使用AI加速设备时主机必须对推理过程进行调度,它必须通过USB设备将摄像头、CPU之间的数据发送到神经推理设备。因此,CPU使用率变高,并且传输过程非常低效……因此运行的非常缓慢。你可以在下面看到在带有NCS2的Raspberry Pi上只运行AI的情况,最大速度为8FPS(主机CPU已满),而OAK在AI,深度和编码方面可以达到25FPS以上(完全不使用主机CPU)。

在OAK中,这不是问题。OAK固件可以执行所有操作:深度,对象检测,将对象重新投影到以米为单位的x,y,z位置(以及其他一些功能,例如h.264 / h.265编码,对象跟踪等)。所有这些都直接在 OAK 上的图像传感器中进行,而没有对主机造成负担。因此,不需要占用主机资源,你可以获得目标的XYZ位置,1080p或4K视频编码的视频流。

OAK能够与很多东西兼容。这是由OAK生态系统的开源特性决定的,用户可以简单地使用OAK的 API。因此,任何运行OpenCV的主机都可以与OAK一起使用,包括Linux(Ubuntu,Raspbian等),Mac和Windows。

通过SPI接口,串口,任何微控制器都可以和OAK一起使用。

通过网络通讯和供电驱动的POE版本的OAK,所有的OAK版本都是开源的。

如果对测量距离有要求。还有分体式,可以自己安装调节相机基线的版本。当然这一切都是可以根据需求订制或者自己开发的。

OAK分体式版本

是不是总有一款OAK适合你呢?欢迎加入我们的微信群或者QQ群进行交流。也可以浏览我们的淘宝店,选到你心仪的产品。点击这里淘宝店地址