新知一下
海量新知
6 2 8 8 4 6 4

夜间奇异规范:夜间高效自监督单目深度估计(ICCV 2021)

3D视觉工坊 | 个人微信公众号:3D视觉工坊。 2022/01/21 09:44

摘要

大家好,今天为大家带来的文章是 Regularizing Nighttime Weirdness: Efficient Self-supervised Monocular DepthEstimation in the Dark

单目深度估计的目的是从单个图像或视频中预测深度。最近,自监督方法受到了广泛关注,因为它们不需要深度注释,并且在一些日间基准测试中取得了令人印象深刻的性能。然而,它们在更具挑战性的夜间场景中会产生奇怪的输出,因为低能见度和不同的照明,这分别会带来弱纹理和打破亮度一致性假设。为了解决这些问题,本文提出了一个新的框架,并进行了一些改进:(1)引入基于先验的正则化,从未配对的深度图中学习分布知识,防止模型被错误训练;(2) 我们利用MappingConsistent图像增强模块增强图像可见性和对比度,同时保持亮度一致性;(3)我们提出了基于统计的掩模策略,利用动态统计调整无纹理区域内移除像素的数量。实验结果证明了各个组件的有效性。同时,我们的框架在两个夜间数据集上实现了显著的改进和最先进的结果。

 Code :https://github.com/w2kun/RNW


主要工作与贡献

本工作的主要贡献如下:

我们提出了基于先验的正则化模块,从未配对的参考中学习分布知识,防止模型被错误训练。

•我们利用映射一致性图像增强模块处理黑暗中的低可见性,并保持亮度一致性。

•我们提供了基于统计的mask,通过使用动态信息更好地处理无纹理区域。总之,这些贡献在夜间深度估计任务中产生了最先进的性能,并有效地减少了深度输出中的奇异性。


算法流程

问题: 夜间场景包括两个重要问题, 低能见度和变化的光照 ,导致大多数现有的自我监督方法(例如MonoDepth2[15])产生奇怪的深度输出奇异值。

新知达人, 夜间奇异规范:夜间高效自监督单目深度估计(ICCV 2021)

图1 总体管道包括三项改进(橙色框):基于先验的正则化(PBR)、映射一致性图像增强(MCIE)和基于统计的掩模(SBM)。PBR显示在右侧。concat表示沿通道维度的串联操作,Dr和Ip分别表示参考深度图和坐标图像

1.系统框架

为了解决这两个问题,本文提出了一种有效的夜间自监督深度估计框架,并对其进行了三个方面的改进。

首先,我们引入 基于先验的正则化 (PBR)模块来约束深度参考邻域中的错误深度,防止深度网络被错误训练。

该约束是通过以对抗的方式从未配对的参考中学习先验深度分布来实现的。此外,将二维坐标编码为PBR的附加输入,以找到与其像素位置相关的有用深度分布。

其次,我们利用 映射一致性图像增强 (MCIE)模块来处理低可见性问题。尽管图像增强方法,例如对比度限制直方图均衡化(CLHE)[37]可用于在微光图像上取得显著效果[9,23],但它们难以处理视频帧之间的对应关系,这对于自监督深度估计至关重要。因此,我们扩展了CLHE方法以保持亮度一致性,同时增强低可见视频帧。

最后,我们提出了 基于统计的掩模 (SBM)来处理无纹理区域。我们引入SBM,通过使用动态统计灵活地调整遮罩像素,从而更好地处理夜间场景。

2.方法

2.1 基于先验的正则化

我们发现像素的深度和位置之间有着密切的关系。例如,驾驶场景的图像通常显示沿垂直方向从道路到天空的视图。基于这一观察,我们将每个像素的2D坐标编码为图像Ip,作为ΦD的额外输入。Ip由两个单独指示x轴和y轴坐标的单通道地图组成,并缩放至范围[0,1]进行归一化。此外,Dt和Dr都是尺度模糊性,因此统一它们的尺度是不合理的。我们应用µ(·)对深度图进行归一化处理,以解决其比例失调问题:

新知达人, 夜间奇异规范:夜间高效自监督单目深度估计(ICCV 2021)

新知达人, 夜间奇异规范:夜间高效自监督单目深度估计(ICCV 2021)

2.2映射一致性图像增强

新知达人, 夜间奇异规范:夜间高效自监督单目深度估计(ICCV 2021)

图2 最上面的两张图片说明了MCIE的有效性,我们可以在其中看到可见性的明显改善,尤其是在红色框内。下面三幅图显示了计算亮度映射函数γ的主要步骤。

映射一致性图像增强(MCIE)采用对比度受限直方图均衡化[37](CLHE)算法,以满足保持亮度一致性的需要,这对于自监督深度估计至关重要。这是通过使用亮度映射函数b′=γ(b)并将其应用于目标帧和源帧来实现的,即

新知达人, 夜间奇异规范:夜间高效自监督单目深度估计(ICCV 2021)

假设输入图像的频率分布fb=h(b),其中fb是亮度等级b的频率。首先,我们剪裁大于预设参数σ的频率,以避免噪声信号的放大。其次,剪裁频率均匀地填充到每个亮度级别,如子图(b)所示。最后,利用累积分布cdf通过

新知达人, 夜间奇异规范:夜间高效自监督单目深度估计(ICCV 2021)

2.3基于统计的掩码

SBM使用动态统计信息灵活调整遮罩像素。在训练期间,SBM通过dts=||It − Is||1,并使用指数加权移动平均(EWMA)获得最近样本中的平均dts,其为

新知达人, 夜间奇异规范:夜间高效自监督单目深度估计(ICCV 2021)

新知达人, 夜间奇异规范:夜间高效自监督单目深度估计(ICCV 2021)

图3 ms和ma之间的视觉比较[15],其中黑色像素从损失中去除。我们可以看到,ms可以更好地屏蔽无纹理区域(例如红色框中的光点)。


实验结果

新知达人, 夜间奇异规范:夜间高效自监督单目深度估计(ICCV 2021)

表1 定量分析

新知达人, 夜间奇异规范:夜间高效自监督单目深度估计(ICCV 2021)

图4 RobotCar夜间数据集的定性比较。第一行是输入图像。SC SfMLearner[2]、MonoDepth2[15]和FM[41]的结果从第二行到第四行分别列出。我们的结果显示在底部。

新知达人, 夜间奇异规范:夜间高效自监督单目深度估计(ICCV 2021)

表3 定性比较我们的方法(中间)和ADFA[43](右)。这些图像来自ADFA中的图1。

新知达人, 夜间奇异规范:夜间高效自监督单目深度估计(ICCV 2021)

图4 nuScenes之夜的定性结果。由于能见度较低和流量更复杂,该数据集更具挑战性,而我们的方法仍然能够做出合理的预测。



更多“算法”相关内容

更多“算法”相关内容

新知精选

更多新知精选