我们如何解决了RealSense偏色问题?
▌前言
Hello,大家好,这里是OAK中国,我是助手君。
不知道大家有没有用过realsense的D455,用过的朋友一定会发现相机的颜色有点不对劲。
这是什么原因呢?英特尔为啥不解决这个问题呢?今天分享OAK官方Luxonis公司是如何解决这个问题的。
▌背景
Luxonis一向与用户保持紧密联系,秉持着与用户做朋友的原则。因此,当用户向我们提出对他们来说很重要的问题时,我们会倾听。当用户向我们提出如何让他们的机器人在户外工作的建议,以及为什么他们的深度相机不能在户外工作的问题时,我们会倾听。尽管使用的深度相机不是我们制造的。事实上,这些相机是由市场上的现任者RealSense制造的,客户已经在逐步淘汰它们。如下图所示,RealSense深度相机系列的旗舰产品D455无法在户外拍摄有用的图像。
这是一个巨大的问题,因为几乎每个机器人系统都使用颜色数据。在农业和许多行业,这是一个完全的阻碍。那我们做了什么?
嗯,我们对顾客很热情,所以我们为顾客修好了。我们用要求的OV9782全局快门颜色制作了一个版本的OAK-D,并解决了这个问题。怎么解决的呢?
经典的计算机视觉图像传感器调谐问题,这被称为不正确的“镜头阴影校正”(LSC),它会导致场景中不存在的颜色,但这是图像传感器、镜头和镜头支架相互作用的结果,并有效地“弥补”了不存在的颜色。使用适当的LSC,图像会显示更正确的颜色。
在我们进入如何做的细节之前,让我们快速回顾一下。我们所有的OAK-D-S2和OAK-D-S2-PoE标配IMX378作为RGB摄像头,但因为我们想为客户提供最大程度的灵活性,我们让他们选择用OV9782替换该摄像头,以将FOV从120增加到150。到目前为止,进行这种转换的一个缺点是在室外拍摄视频时可能会变色。
最后我们发现,这个问题与OV9782暴露在强光下引起的过饱和有关。在这种情况下,粉红色或紫色色调会渗入图像。
▌英特尔RealSense D455 -粉色问题
我们不是唯一在处理这个问题的人,我们只是唯一解决了这个问题的人(稍后会有更多的介绍)。英特尔是我们在市场上最接近的竞争对手,他们的D455相机——使用与我们的OAK相机相同的OV9782——也在室外色彩蠕变方面苦苦挣扎,但英特尔仍然没有找到解决方案。
在谷歌上搜索几分钟,就会发现他们的客户有多深的顾虑,从直接支持论坛和行业新闻可以发现:
- IntelRealSense/librealsense GitHub问题
- 来自DotProduct,已知问题:RealSense D455和L515的粉色/紫色色差
- 从他们自己的角度:D455 RGB颜色问题社区页面,有人在评论中说:“这是一个生产问题,英特尔必须像我们一样召回并更换所有受影响的设备。英特尔;您无法通过更新固件解决此问题。我要退掉我的D455,我会建议我的顾客不要买。”
英特尔可能有大牌的权利让这件事就这么过去了,但这不是我们在Luxonis的运作方式。
我们甚至赢得了一个非常棒的新客户,他厌倦了等待英特尔采取行动。Greenzie决定弃用D455有很多原因,但这个着色问题是其中之一。
注:Greenzie公司是有名的商业除草机器人厂商。
▌向前迈进——解决方案和未来
该认真对待了!我们如何解决像英特尔这样的大厂无法(或不愿)解决的问题?简单来说,我们是一个不放弃的团队。我们知道正确的色彩表现对我们的用户来说是至关重要的,所以一直在解决这个问题,直到发现一个专门的镜头阴影校正(LSC)实现了巨大的改进。你可以把它想象成给相机镜头戴上一副太阳镜,让它保持更一致的画面。
我们已经看到了之前/之后的图像,但现在让我们来看一个测试视频!即使在强光环境下使用非常短的快门速度,我们也可以看到侵入性着色的存在是如何显著减少的。
更棒的是我们所有的广角相机——当前和未来的型号——现在都提供这种增强的功能,同时仍然允许在IMX378(120 DFOV 12MP滚动快门彩色)和OV9782(150 DFOV 1MP全局快门彩色)之间进行选择。
请务必查看我们的全系列广角相机选项,找到适合你的那一款:
- OAK-D-W,USB供电
- OAK-D-Pro-W,带红外夜视和主动立体视觉,USB供电
- OAK-D-W-PoE,通过以太网供电
- OAK-D-Pro-W-PoE,具有夜视和主动立体视觉,通过以太网供电