RealSense的继任者?OpenCV的OAK相机到底与RealSense的区别是什么?

RealSense的继任者?OpenCV的OAK相机到底与RealSense的区别是什么?

与RealSense相机相比,OAK相机具有很多板载功能,能运行任何人工智能模型(甚至是自定义的模型),H.264, H.265, MJPEG编码(4K/30FPS, 1080P/60FPS),2D/3D追踪等等。OAK相机可用于多种嵌入式应用,而且RealSense将要停产。

RealSense的可用性和停产

2021年8月,英特尔宣布将逐步结束RealSense相机业务。此后,RealSense相机也几乎在各地断货。相比之下,所有OAK相机都有库存,我们承诺从未计划停产我们的任何设备。

设备上的功能比较

设备上的功能OAK-D ProOAK-DOAK-D-LiteOAK-FFC-pToFL515D415D430-D435D450-D455F455F450T261-T265
自定义AI模型✔️✔️✔️✔️
目标检测✔️✔️✔️✔️
目标跟踪✔️✔️✔️✔️
板载脚本✔️✔️✔️✔️
视频/图像编码✔️✔️✔️✔️
图像处理✔️✔️✔️✔️
骨骼/手跟踪✔️✔️✔️✔️✔️✔️✔️
三维语义分割✔️✔️✔️✔️
三维物体姿态估计✔️✔️✔️✔️
三维边缘检测✔️✔️✔️✔️
特征跟踪✔️✔️✔️✔️✔️
3D特征追踪✔️✔️✔️✔️
OCR✔️✔️✔️✔️
人脸识别✔️✔️✔️✔️✔️✔️
基准标记定位✔️✔️✔️✔️
神经辅助深度进行中进行中进行中
加密✔️✔️
VIO进行中进行中进行中进行中✔️

说明

  • 自定义AI模型:你可以在设备上运行任何AI/NN模型,只要所有层都支持。你也可以从Open Model Zoo和DepthAI Model Zoo的200多个预训练的NN模型中选择。查看模型>>
  • 目标检测:大多数常用的物体检测器已被转换并在我们的设备上运行。DepthAI支持对基于Yolo和MobileNet的NN模型进行板载解码。
  • 目标跟踪:ObjectTracker 节点有4种跟踪器类型,它还支持在3D空间中跟踪对象。
  • 板载脚本: Script 节点使用户能够运行将在设备上运行的定制Python 3.9脚本,用于管理管道流。
  • 视频/图像编码:VideoEncode 节点允许编码成MJPEG、H265或H264格式。
  • 图像处理 – ImageManip节点允许用户调整大小、扭曲、裁剪、翻转和缩略图图像帧,并进行类型转换(YUV420、NV12、RGB等。)
  • 骨骼/手跟踪:检测和跟踪手或人体姿势的关键点。开源示例: Hand trackerBlazeposeMovenet
  • 三维语义分割-用语义标记的像素感知世界。这里是DeeplabV3演示.
  • 三维物体姿态估计:媒体管道的Objectron已经被改造成可以在OAK相机上运行。
  • 三维边缘检测:  FeatureTracker 节点使用Sobel滤波器检测边缘。有了深度信息,你就可以得到这些边的物理位置。
  • 特征跟踪:FeatureTracker 节点检测并跟踪关键点(特征)。
  • 3D特征追踪:通过深度信息,您可以在物理空间中跟踪这些特征。
  • OCR:查看示例
  • 人脸识别: 它在设备上同时运行人脸检测、对齐和人脸识别(3种不同的神经网络模型)。
  • 基准标记定位:AprilTag检测器目前的工作速度约为20FPS,此处的进展.
  • 神经辅助深度-工作进行中,票证这里.
  • 加密:尚未解决。
  • VIO:进行中,预计2022年上半年可实现。

相机规格

规格OAK-D Pro/ -WOAK-D/ -WOAK-D-LiteOAK-FFC-pToFL515D415D430-D435D450-D455F455F450T261-T265
RGBIMX378IMX378/OV9782IMX214N/AOV2740OV2740OV2740OV9782N/AN/A
RGB HFOV69 / 10969 / 10973.6N/A70696990N/AN/AN/A
RGB快门卷帘/全局卷帘卷帘N/A卷帘卷帘卷帘全局N/AN/AN/A
RGB分辨率12MP12MP1300万N/A2MP2MP2MP1MPN/AN/AN/A
深度类型主动深度被动深度被动深度ToF激光主动深度主动深度主动深度主动深度主动深度N/A
深度传感器OV9282OV9282OV7251MTP006OV2740OV9282OV9782
深度快门全局全局全局N/A卷帘全局全局全局
深度HFOV72 / 12772 / 1277260N/A7087875656173
最小深度20厘米20厘米20厘米N/A25厘米45厘米28厘米52厘米30厘米30厘米N/A
深度分辨率1280×8001280×800640×480224×172N/A1024×7681280×7201280×720848×800
IR LED✔️✔️✔️✔️
ToF/激光✔️✔️
IMU✔️✔️N/A✔️✔️/❌✔️✔️

嵌入式应用

与RealSense不同,我们的平台支持从闪存(独立模式),并具有双向SPI通信(SPIOutSPIIn节点)。独立/边缘模式意味着您可以将应用闪存到设备上,这意味着您不需要将设备连接到主机(树莓派/PC/笔记本电脑等)。

这允许用户构建小型、低功率的嵌入式设备集成OAK SoM用3D人工智能的力量升级他们的产品。

OAK物联网设备集成一个ESP32,通过SPI与VPU通信(入门文档),这个系列的OAK还具有独立模式的板载闪存。