我们如何解决了RealSense偏色问题?

我们如何解决了RealSense偏色问题?

▌前言

Hello,大家好,这里是OAK中国,我是助手君。

不知道大家有没有用过realsense的D455,用过的朋友一定会发现相机的颜色有点不对劲。
在这里插入图片描述
这是什么原因呢?英特尔为啥不解决这个问题呢?今天分享OAK官方Luxonis公司是如何解决这个问题的。

▌背景

Luxonis一向与用户保持紧密联系,秉持着与用户做朋友的原则。因此,当用户向我们提出对他们来说很重要的问题时,我们会倾听。当用户向我们提出如何让他们的机器人在户外工作的建议,以及为什么他们的深度相机不能在户外工作的问题时,我们会倾听。尽管使用的深度相机不是我们制造的。事实上,这些相机是由市场上的现任者RealSense制造的,客户已经在逐步淘汰它们。如下图所示,RealSense深度相机系列的旗舰产品D455无法在户外拍摄有用的图像。

这是一个巨大的问题,因为几乎每个机器人系统都使用颜色数据。在农业和许多行业,这是一个完全的阻碍。那我们做了什么?

嗯,我们对顾客很热情,所以我们为顾客修好了。我们用要求的OV9782全局快门颜色制作了一个版本的OAK-D,并解决了这个问题。怎么解决的呢?

经典的计算机视觉图像传感器调谐问题,这被称为不正确的“镜头阴影校正”(LSC),它会导致场景中不存在的颜色,但这是图像传感器、镜头和镜头支架相互作用的结果,并有效地“弥补”了不存在的颜色。使用适当的LSC,图像会显示更正确的颜色。

在我们进入如何做的细节之前,让我们快速回顾一下。我们所有的OAK-D-S2OAK-D-S2-PoE标配IMX378作为RGB摄像头,但因为我们想为客户提供最大程度的灵活性,我们让他们选择用OV9782替换该摄像头,以将FOV从120增加到150。到目前为止,进行这种转换的一个缺点是在室外拍摄视频时可能会变色。

最后我们发现,这个问题与OV9782暴露在强光下引起的过饱和有关。在这种情况下,粉红色或紫色色调会渗入图像。

▌英特尔RealSense D455 -粉色问题

我们不是唯一在处理这个问题的人,我们只是唯一解决了这个问题的人(稍后会有更多的介绍)。英特尔是我们在市场上最接近的竞争对手,他们的D455相机——使用与我们的OAK相机相同的OV9782——也在室外色彩蠕变方面苦苦挣扎,但英特尔仍然没有找到解决方案。

在谷歌上搜索几分钟,就会发现他们的客户有多深的顾虑,从直接支持论坛和行业新闻可以发现:

英特尔可能有大牌的权利让这件事就这么过去了,但这不是我们在Luxonis的运作方式。

我们甚至赢得了一个非常棒的新客户,他厌倦了等待英特尔采取行动。Greenzie决定弃用D455有很多原因,但这个着色问题是其中之一。

注:Greenzie公司是有名的商业除草机器人厂商。

▌向前迈进——解决方案和未来

该认真对待了!我们如何解决像英特尔这样的大厂无法(或不愿)解决的问题?简单来说,我们是一个不放弃的团队。我们知道正确的色彩表现对我们的用户来说是至关重要的,所以一直在解决这个问题,直到发现一个专门的镜头阴影校正(LSC)实现了巨大的改进。你可以把它想象成给相机镜头戴上一副太阳镜,让它保持更一致的画面。

我们已经看到了之前/之后的图像,但现在让我们来看一个测试视频!即使在强光环境下使用非常短的快门速度,我们也可以看到侵入性着色的存在是如何显著减少的。

更棒的是我们所有的广角相机——当前和未来的型号——现在都提供这种增强的功能,同时仍然允许在IMX378(120 DFOV 12MP滚动快门彩色)和OV9782(150 DFOV 1MP全局快门彩色)之间进行选择。

请务必查看我们的全系列广角相机选项,找到适合你的那一款:

  • OAK-D-W,USB供电
  • OAK-D-Pro-W,带红外夜视和主动立体视觉,USB供电
  • OAK-D-W-PoE,通过以太网供电
  • OAK-D-Pro-W-PoE,具有夜视和主动立体视觉,通过以太网供电