OAK 4 D Pro
OAK 4 D Pro
OAK 4 D Pro是OAK推出的新一代旗舰产品，一款高性能、大算力、高分辨率的3D深度视觉 & 边缘AI推理相机，采用全新的第四代设计，搭载了OAK迄今为止最为先进的边缘AI处理核心RVC4，集成了一颗4纳米制程的SOC，为OAK 4 D Pro提供了强大的边缘AI算力和图像处理能力。
OAK 4 D Pro是一款运行Linux的真正意义上的独立设备，将边缘AI推理和深度计算集成到一个终端中。
RVC4 第四代OAK板载AI芯片组：
— 8核心 ARM CPU、8GB 内存、128GB 存储空间
— 48TOPs 边缘AI 算力
— 9轴 高性能 IMU，最高可达1000Hz
图像：
— 4800万像素源自索尼的RGB主摄，0.8μs像素尺寸
— 硬件HDR，EIS防抖
— 结构光 + 红外夜视
结构设计：
— IP67 工业级防护设计
— 高强度铝合金镂空外壳，更加强大的散热能力
Description
产品介绍
OAK 4 D Pro
OAK 4 D Pro 是OAK推出的新一代旗舰产品，一款高性能、大算力、高分辨率的边缘AI x 3D 相机，采用全新的第四代设计，非常适合机器视觉、车载与自动化系统集成使用。
OAK 4 D Pro 将先进的立体深度视觉，高分辨率图像和48T算力的边缘AI 集成为一体。Pro款型通常被建议用于需要高质量和可靠的深度感知的环境下，包括低光照、无纹理的表平面的情况。
RVC4特性
—— 8 核心 ARM CPU，8GB RAM， 128GB 存储
—— 48 TOPs （INT8） & 12TOPs（FP16）边缘AI算力
—— 深度感知： 具备滤波、后处理、RGBD对齐、高可配置性的立体深度感知能力
—— 物体追踪：通过内置节点（Node) ObjectTracker 进行2D 和3D 追踪
结构规格
—— 左右目基线：75mm
—— 理想深度范围：70mm ~ 12m
—— 功耗：1.5W ~ 25W
—— 外壳：IP67 工业级防护，工业级铝合金外壳和典雅的镂空散热设计
安装
—— 推荐购买1/4“螺丝孔位三脚架
—— 后盖和底盖上推荐购买75mm M4 Vesa支架
三维尺寸
143.5 x 42.5 x 67.3 mm
重量
674克
技术参数
| 参数 | 自动对焦款
(Auto Focus) |
定焦款
(Fixed Focus) |
广角款
(Wide) |
双目
(Stereo Pair) |
双目广角款
(Stereo Pair – Wide) |
|---|---|---|---|---|---|
| 图像传感器（Sensor） | IMX586 | IMX586 | IMX586 | OV9282 | OV9282 |
| DFOV | 82.4˚ | 82.4˚ | 120.0˚ | 84.5° | 149.2° |
| 分辨率 | 48MP
(8000×6000) |
48MP
(8000×6000) |
48MP
(8000×6000) |
1MP
(1280×800) |
1MP
(1280×800) |
| 最大帧率 | 30 FPS | 30 FPS | 30 FPS | 60 FPS | 120 FPS |
| 光谱范围 | 可见光 | 可见光 | 可见光 | 可见光 + 940nm | 可见光 + 940nm |
| 焦距（EFL） | 4.74mm | 4.74mm | 4.74mm | 2.35mm | 1.69mm |
| 光圈（F.NO） | 1.79 ± 5% | 1.79 ± 5% | 1.79 ± 5% | 2.0 ± 5% | 2.0 ± 5% |
| 对焦类型 | AF | FF | FF | FF | FF |
| 镜头尺寸 | 1/2″ | 1/2″ | 1/2″ | 1/4″ | 1/4″ |
| 像素大小 | 0.8µm | 0.8µm | 0.8µm | 3.0µm | 3.0µm |
| 快门 | 卷帘快门 | 卷帘快门 | 卷帘快门 | 全局快门 | 全局快门 |
深度估计
— OAK 4 D Pro的基线（Baseline）长度为7.5CM，最大和最小的深度感知范围通常由相机FOV、分辨率和左右目基线长度所决定。
— 理想深度区间：70CM ~ 12M
— 最小深度（Min Z): ≈ 20CM ，400P & 拓展视差（Extended）模式 ；
≈ 35CM， 400P 或 800P，拓展视差（Extended）模式 ；
≈ 70CM， 800P；
深度视觉
4M内：低于2%绝对精度
4M ~ 7M：低于4%绝对精度
7M ~ 10M：低于6%绝对精度
连接性
OAK 4 D Pro 符合802.3at, Class 3 PoE标准，速度为2.5Gbps （具体取决于网络硬件基础设施），建议使用PoE交换机为设备供电，并充分利用PoE潜力
M12接口用于设备的供电和2.5Gbps的数据传输，次外还有一个M8接口用于IO连接，USB2（D+， D-），相机IO（FSIN，STROBE)，供电，以及2*GPIO （可用于UART），当不使用M8接口时，请盖上M8盖，以确保扛水性
相机也可以使用USB-C接口（USB 3.2 Gen 2, 10Gbps) 作为一个供电和数据传输的可选项
您也可结合使用以上两种方式。
工作特性
扛水性 ： IP 67防护
功耗： 1.5W ~ 25 W
工作温度： -20°C ~ 50°C
抗振性：EN 60068-2-6:2008， ISO 15998:2008 Clause 7.2.3 Table 1
文档资料
硬件下载
- 待公布
使用文档
使用文档
待公布
RVC4边缘AI核心
RVC4（Robotics Vision Core 4） 边缘AI芯片组
RVC4简介
RVC4 （Robotics Vision Core 4) 是OAK 4 系列相机标配的板载边缘AI处理核心
- Octa-core ARM CPU 运行Linux (Kernel 5.15)
- AI：48 TOPS [INT8], 12TOPS [FP16]
- 计算机视觉：立体深度, 畸变矫正, 特征检测, 描述匹配, 模板匹配
- ISP：支持5相机流，硬件宽动态 HDR，EIS电子防抖，3A (自动曝光，自动白平衡，自动对焦) ，最高3*8K @ 30 FPS
- 编码：支持4K @ 240 FPS 解码，4K @ 120 FPS编码 （H.264，H.265），解码也支持VP9 ，AV1
RVC4 计算机视觉引擎
- 立体深度视觉：最高720P @ 60FPS，默认4bit 子像素，64视差搜索，8位置信度图，空间一致性，遮挡与纹理掩饰，± 3 像素线矫正误差容忍度
- 畸变矫正引擎：1080P @ 240 FPS
- 光流：半密度（Semi-dense)： 1080P @ 60 FPS；全密度（Full-dense）：VGA @ 60 FPS
- 特征检测：Harris Corner 检测，1080P @ 60 FPS
- 模板匹配：最高 1080P，500个模板 @ 1.2ms，每帧最高1024个补丁
- Description Matching：ORB计算与内联匹配，descriptor：256位；最高1080P，1ms/500 descriptors （计算+匹配）
RVC4 ISP（Image Signal Processor）
- 5个并发相机流
- 高吞吐量：高达3*8K @ 30FPS，或1*108MP@ 30FPS
- 3A 支持（自动曝光，自动白平衡，自动对焦）
- 支持18 bpp （bits per pixel）
- 低功耗相机模式（专用低功耗岛），up to 10FPS @ VGA分辨率 + 专用于图像处理的低功耗NPU（神经处理单元，Neural Processing Unit）
- 硬件HDR：交错HDR，数字重叠、非重叠
- 图像稳定：EIS电子防抖 + 良好的低光性能
AI 性能
RVC4 NN 模型 Benchmark（峰值表现）
| 模型名称 | 模型尺寸 | FPS | 任务 |
| YoloV5m | 640*640 | 280 | 目标检测 |
| YoloV6n | 512*288 | 2340 | 目标检测 |
| YoloV7-W6 | 640*640 | 162 | 目标检测 |
| ResNet-50 | 224*224 | 943 | 分类 |
| ViT-Tiny | 224*224 | 650 | 分类 |
| BiSeNetv1-MBNV2 | 512*228 | 647 | 语义分割 |
| eWaSR | 512*384 | 309 | 语义分割 |
RVC4 AI 功耗
RVC4的高性能AI芯片组在支持用户自定义配置的同时，亦考虑了节能设计。AI 系统在运行时可以在不同的功率水平（FPS速度）下运行，这会影响AI性能，下表显示了不同的模型在不同的FPS下运行所需功耗。
| 模型名 | 低FPS | 中FPS | 高FPS | 最高 |
| BiSeNet-MBNV2 (512x288) | 80 [0.67 W] | 133 [1.04 W] | 391 [3.02 W] | 647 [5 W] |
| eWaSR ResNet18 (512x384) | 59 [0.79 W] | 106 [1.51 W] | 229 [3.55 W] | 309 [5.25 W] |
| MobileVit-xxs (224x224) | 104 [0.63 W] | 199 [1 W] | 277 [1.82 W] | 488 [3.27 W] |
| Repvgg_a2 (224x224) | 181 [1.07 W] | 327 [2.22 W] | 466 [3.75 W] | 1250 [10.4 W] |
| ResNet101 (224x224) | 115 [1.05 W] | 243 [2.4 W] | 339 [3.57 W] | 718 [8.62 W] |
| ResNet50-v2-7 (224x224) | 145 [0.96 W] | 260 [1.9 W] | 380 [2.83 W] | 934 [7.65 W] |
| ViT-Tiny patch16 (224x224) | 124 [0.7 W] | 228 [1.25 W] | 300 [1.88 W] | 615 [4.27 W] |
| Yolo6N (512x288) | 190 [0.7 W] | 307 [1.1 W] | 702 [3.8 W] | 2340 [7.5 W] |
| YoloV5M (640x640) | 48 [0.93 W] | 72 [1.75 W] | 212 [6.05 W] | 280 [8.4 W] |
| YoloV7-W6 (640x640) | 34 [1.05 W] | 60 [2.48 W] | 139 [7.45 W] | 162 [7.85 W] |
*数据统计于10秒的AI推理运行期间整个RVC4的功耗测量，因此AI的功耗会由于芯片其余部分（主要是CPU）也在消耗功率而略低。
RVC4 vs Nvidia Jetson Nano (8GB)
Nvidia Jetson 系列是目前较为常见的边缘AI 算力平台之一，我们测试了Nvidia Jetson Nano Orin (8GB,40 TOPS GPU ，6 Core ARM CPU) 与 RVC4 在 INT8 精度和相同图像形状下的对比
| 模型名 | RVC4 [FPS] | Jetson Orin Nano 8GB [FPS] |
|---|---|---|
| InceptionV4, BS1 | 691 | 170 |
| InceptionV4, BS32 | 608 | 358 |
| ResNet50, BS1 | 1369 | 502 |
| ResNet50, BS32 | 1644 | 1191 |
| VGG19, BS1 | 269 | 183 |
| VGG19, BS32 | 560 | 362 |
| Super Resolution, BS1 | 36* | 202 |
| SSD MobileNet V1, BS1 | 1910 | 920 |
| SSD MobileNet V1, BS32 | 2688 | 2260 |
| UNet Segmentation, BS1 | 323 | 142 |
| YoloV3 Tiny, BS1 | 1342 | 563 |
查看Jetson Family Benchmarks（底部），Nvidia 提到了BS32型模型的FPS（批量为32，因此一次推理32张图像）。根据我们自己的测试，这些数字是真实的，但是，它们的BS1模型（批量大小1，单幅图像）的性能比BS32模型差约2倍。如果用户想要实时性能（而不是+1秒延迟），需要使用BS1模型。
*另：由于RVC4的整体SoC是全新的，模型优化工作仍在更新中，未来将添加额外的层（Layers）在加速模块上进行处理。对于超分辨率模型，在CPU上处理了几层，这就是RVC4性能在超分辨率模型上表现暂时较弱的原因。
RVC4 vs Nvidia Jetson Nano (8GB) 功耗对比
我们在最大性能表现下测量统计了两款产品的功耗，Orin Nano的功耗波动很大，因此我们统计了10秒内的平均功耗 （Batch Size = 1的模型，即1张图片）
| 模型名称 | RVC4 [W] | Jetson Orin Nano 8GB [W] |
|---|---|---|
| InceptionV4 | 9.1 | 12 |
| ResNet50 | 10.2 | 13 |
| VGG19 | 9.5 | 11 |
| YoloV3 Tiny | 9.9 | 10 |
| YoloV5 M (416x416) | 9.3 | 11 |
Benchmark Conclusion: 与Jetson Orin Nano 8GB相比，RVC4边缘AI 核心SoC的速度快1.9倍，功耗也降低了15%左右。
定制化应用
用户可以完全使用RVC4的全部性能：
— 轻松开发和部署自定义容器化应用程序
— 使用Halide在硬件加速模块上开发和运行快速的CV管道
— 由于OAK 4系列产品亦可充当主机，所以可能亦可将其他的OAK 第二代相机（RVC2）与其连接使用
