OAK 4 S
OAK 4 S
OAK 4 S 是OAK推出的一款高性能、大算力、高分辨率的边缘AI推理相机,采用全新的第四代设计,搭载了OAK迄今为止最为先进的边缘AI处理核心RVC4,集成了一颗4纳米制程的SOC,为OAK 4 S 提供了强大的边缘AI算力和图像处理能力。
OAK 4 S 是一款运行Linux的真正意义上的独立设备,将边缘AI推理和深度计算集成到一个终端中。
RVC4 第四代OAK板载AI芯片组:
— 8核心 ARM CPU、8GB 内存、128GB 存储空间
— 48TOPs 边缘AI 算力
— 9轴 高性能 IMU,最高可达1000Hz
— 麦克风
图像质量:
— 4800万像素源自索尼的RGB主摄,0.8μs像素尺寸
— 硬件HDR,EIS防抖
结构设计:
— IP67 工业级防护设计
— 高强度铝合金镂空外壳,更加强大的散热能力
描述
产品介绍
OAK 4 S
OAK 4 S 是OAK推出的一款高性能、大算力、高分辨率的边缘AI推理相机,采用全新的第四代设计,搭载了OAK迄今为止最为先进的边缘AI处理核心RVC4。
OAK 4 S 是一款运行Linux的真正意义上的独立设备,将边缘AI推理和深度计算集成到一个终端中。
RVC4特性
—— 8 核心 ARM CPU,8GB RAM, 128GB 存储
—— 48 TOPs (INT8) & 12TOPs(FP16)边缘AI算力
—— 机器视觉:畸变处理、大小调整、ImageManip剪裁、边缘检测、特征跟踪,或者您可以运行自定义的CV函数
—— 物体追踪:通过内置节点(Node) ObjectTracker 进行2D 和3D 追踪
结构规格
—— 功耗:1.5W ~ 25W
—— 外壳:IP67 工业级防护,工业级铝合金外壳和典雅的镂空散热设计
安装
—— 推荐购买1/4“螺丝孔位三脚架
—— 后盖和底盖上距离40mm的M4安装点
三维尺寸
57 x 57 x 71 mm
重量
325克
技术参数
参数 | 自动对焦款(Auto Focus) | 定焦款(Fixed Focus) | 广角款(Wide) |
---|---|---|---|
图像传感器(Sensor) | IMX586 | IMX586 | IMX586 |
DFOV | 82.4˚ | 82.4˚ | 120.0˚ |
分辨率 | 48MP ( 8000×6000) | 48MP ( 8000×6000) | 48MP ( 8000×6000) |
最大帧率 | 30 FPS | 30 FPS | 30 FPS |
波长范围 | 可见光 | 可见光 | 可见光 |
焦距(EFL) | 4.74mm | 4.74mm | 4.74mm |
光圈(F.NO) | 1.79 ± 5% | 1.79 ± 5% | 1.79 ± 5% |
对焦类型 | AF | FF | FF |
镜头尺寸 | 1/2″ | 1/2″ | 1/2″ |
像素大小 | 0.8µm | 0.8µm | 0.8µm |
快门 | 卷帘快门 | 卷帘快门 | 卷帘快门 |
连接性
OAK 4 S 符合802.3at, Class 3 PoE标准,速度为2.5Gbps (具体取决于网络硬件基础设施),建议使用PoE交换机为设备供电,并充分利用PoE潜力
M12接口用于设备的供电和2.5Gbps的数据传输,次外还有一个M8接口用于IO连接,USB2(D+, D-),相机IO(FSIN,STROBE),供电,以及2*GPIO (可用于UART),当不使用M8接口时,请盖上M8盖,以确保扛水性
相机也可以使用USB-C接口(USB 3.2 Gen 2, 10Gbps) 作为一个供电和数据传输的可选项
您也可结合使用以上两种方式。
工作特性
抗水性 : IP 67防护
功耗: 1.5W ~ 25 W
工作温度: -20°C ~ 50°C
抗振性:EN 60068-2-6:2008, ISO 15998:2008 Clause 7.2.3 Table 1
文档资料
硬件下载
- 待公布
使用文档
使用文档
待公布
RVC4边缘AI核心
RVC4(Robotics Vision Core 4) 边缘AI芯片组
RVC4简介
RVC4 (Robotics Vision Core 4) 是OAK 4 系列相机标配的板载边缘AI处理核心
- Octa-core ARM CPU 运行Linux (Kernel 5.15)
- AI:48 TOPS [INT8], 12TOPS [FP16]
- 计算机视觉:立体深度, 畸变矫正, 特征检测, 描述匹配, 模板匹配
- ISP:支持5相机流,硬件宽动态 HDR,EIS电子防抖,3A (自动曝光,自动白平衡,自动对焦) ,最高3*8K @ 30 FPS
- 编码:支持4K @ 240 FPS 解码,4K @ 120 FPS编码 (H.264,H.265),解码也支持VP9 ,AV1
RVC4 计算机视觉引擎
- 立体深度视觉:最高720P @ 60FPS,默认4bit 子像素,64视差搜索,8位置信度图,空间一致性,遮挡与纹理掩饰,± 3 像素线矫正误差容忍度
- 畸变矫正引擎:1080P @ 240 FPS
- 光流:半密度(Semi-dense): 1080P @ 60 FPS;全密度(Full-dense):VGA @ 60 FPS
- 特征检测:Harris Corner 检测,1080P @ 60 FPS
- 模板匹配:最高 1080P,500个模板 @ 1.2ms,每帧最高1024个补丁
- Description Matching:ORB计算与内联匹配,descriptor:256位;最高1080P,1ms/500 descriptors (计算+匹配)
RVC4 ISP(Image Signal Processor)
- 5个并发相机流
- 高吞吐量:高达3*8K @ 30FPS,或1*108MP@ 30FPS
- 3A 支持(自动曝光,自动白平衡,自动对焦)
- 支持18 bpp (bits per pixel)
- 低功耗相机模式(专用低功耗岛),up to 10FPS @ VGA分辨率 + 专用于图像处理的低功耗NPU(神经处理单元,Neural Processing Unit)
- 硬件HDR:交错HDR,数字重叠、非重叠
- 图像稳定:EIS电子防抖 + 良好的低光性能
AI 性能
RVC4 NN 模型 Benchmark(峰值表现)
模型名称 | 模型尺寸 | FPS | 任务 |
YoloV5m | 640*640 | 280 | 目标检测 |
YoloV6n | 512*288 | 2340 | 目标检测 |
YoloV7-W6 | 640*640 | 162 | 目标检测 |
ResNet-50 | 224*224 | 943 | 分类 |
ViT-Tiny | 224*224 | 650 | 分类 |
BiSeNetv1-MBNV2 | 512*228 | 647 | 语义分割 |
eWaSR | 512*384 | 309 | 语义分割 |
RVC4 AI 功耗
RVC4的高性能AI芯片组在支持用户自定义配置的同时,亦考虑了节能设计。AI 系统在运行时可以在不同的功率水平(FPS速度)下运行,这会影响AI性能,下表显示了不同的模型在不同的FPS下运行所需功耗。
模型名 | 低FPS | 中FPS | 高FPS | 最高 |
BiSeNet-MBNV2 (512x288) | 80 [0.67 W] | 133 [1.04 W] | 391 [3.02 W] | 647 [5 W] |
eWaSR ResNet18 (512x384) | 59 [0.79 W] | 106 [1.51 W] | 229 [3.55 W] | 309 [5.25 W] |
MobileVit-xxs (224x224) | 104 [0.63 W] | 199 [1 W] | 277 [1.82 W] | 488 [3.27 W] |
Repvgg_a2 (224x224) | 181 [1.07 W] | 327 [2.22 W] | 466 [3.75 W] | 1250 [10.4 W] |
ResNet101 (224x224) | 115 [1.05 W] | 243 [2.4 W] | 339 [3.57 W] | 718 [8.62 W] |
ResNet50-v2-7 (224x224) | 145 [0.96 W] | 260 [1.9 W] | 380 [2.83 W] | 934 [7.65 W] |
ViT-Tiny patch16 (224x224) | 124 [0.7 W] | 228 [1.25 W] | 300 [1.88 W] | 615 [4.27 W] |
Yolo6N (512x288) | 190 [0.7 W] | 307 [1.1 W] | 702 [3.8 W] | 2340 [7.5 W] |
YoloV5M (640x640) | 48 [0.93 W] | 72 [1.75 W] | 212 [6.05 W] | 280 [8.4 W] |
YoloV7-W6 (640x640) | 34 [1.05 W] | 60 [2.48 W] | 139 [7.45 W] | 162 [7.85 W] |
*数据统计于10秒的AI推理运行期间整个RVC4的功耗测量,因此AI的功耗会由于芯片其余部分(主要是CPU)也在消耗功率而略低。
RVC4 vs Nvidia Jetson Nano (8GB)
Nvidia Jetson 系列是目前较为常见的边缘AI 算力平台之一,我们测试了Nvidia Jetson Nano Orin (8GB,40 TOPS GPU ,6 Core ARM CPU) 与 RVC4 在 INT8 精度和相同图像形状下的对比
模型名 | RVC4 [FPS] | Jetson Orin Nano 8GB [FPS] |
---|---|---|
InceptionV4, BS1 | 691 | 170 |
InceptionV4, BS32 | 608 | 358 |
ResNet50, BS1 | 1369 | 502 |
ResNet50, BS32 | 1644 | 1191 |
VGG19, BS1 | 269 | 183 |
VGG19, BS32 | 560 | 362 |
Super Resolution, BS1 | 36* | 202 |
SSD MobileNet V1, BS1 | 1910 | 920 |
SSD MobileNet V1, BS32 | 2688 | 2260 |
UNet Segmentation, BS1 | 323 | 142 |
YoloV3 Tiny, BS1 | 1342 | 563 |
查看Jetson Family Benchmarks(底部),Nvidia 提到了BS32型模型的FPS(批量为32,因此一次推理32张图像)。根据我们自己的测试,这些数字是真实的,但是,它们的BS1模型(批量大小1,单幅图像)的性能比BS32模型差约2倍。如果用户想要实时性能(而不是+1秒延迟),需要使用BS1模型。
*另:由于RVC4的整体SoC是全新的,模型优化工作仍在更新中,未来将添加额外的层(Layers)在加速模块上进行处理。对于超分辨率模型,在CPU上处理了几层,这就是RVC4性能在超分辨率模型上表现暂时较弱的原因。
RVC4 vs Nvidia Jetson Nano (8GB) 功耗对比
我们在最大性能表现下测量统计了两款产品的功耗,Orin Nano的功耗波动很大,因此我们统计了10秒内的平均功耗 (Batch Size = 1的模型,即1张图片)
模型名称 | RVC4 [W] | Jetson Orin Nano 8GB [W] |
---|---|---|
InceptionV4 | 9.1 | 12 |
ResNet50 | 10.2 | 13 |
VGG19 | 9.5 | 11 |
YoloV3 Tiny | 9.9 | 10 |
YoloV5 M (416x416) | 9.3 | 11 |
Benchmark Conclusion: 与Jetson Orin Nano 8GB相比,RVC4边缘AI 核心SoC的速度快1.9倍,功耗也降低了15%左右。
定制化应用
用户可以完全使用RVC4的全部性能:
— 轻松开发和部署自定义容器化应用程序
— 使用Halide在硬件加速模块上开发和运行快速的CV管道
— 由于OAK 4系列产品亦可充当主机,所以可能亦可将其他的OAK 第二代相机(RVC2)与其连接使用