新知一下
海量新知
6 0 8 4 2 9 9

基于多回波 LiDAR 数据的三维物体检测

3D视觉工坊 | 个人微信公众号:3D视觉工坊。 2021/12/02 10:52

除了常见的 3D 点云之外,LiDAR 传感器还可获取其他测量信号。这些信号可以被用来改进 3D 对象检测等感知任务。单个激光脉冲可以被沿其路径的多个物体部分反射,从而产生多次被称为回波的测量。多回波测量可以提供有关物体轮廓和半透明表面的信息,可用于更好地识别和定位物体。LiDAR 还可以测量表面反射率(激光脉冲返回的强度),以及场景的环境光(物体反射的阳光)。商用 LiDAR 设备已经提供这些信号,但大多数基于 LiDAR 的检测模型尚未使用它们。我们提出了一个 3D 物体检测模型,该模型利用了 LiDAR 提供的全部测量信号。首先,我们提出了一个多信号融合 (MSF) 模块来组合 (1) 使用 2D CNN 提取的反射率和环境光特征,以及 (2) 使用 3D 图神经网络 (GNN) 提取的点云特征。其次,我们提出了一个多回波聚合(MEA)模块来组合在不同回波点集中编码的信息。与传统的单回波点云方法相比,我们提出的多信号 LiDAR 检测器 (MSLiD) 从更广泛的传感测量中提取更丰富的上下文信息,并实现更准确的 3D 对象检测。实验表明,通过结合 LiDAR 的多模态,我们的方法比最先进的方法高出 9.1%。

主要贡献


  • MSLiD第一个提出使用多回波点、LiDAR 环境光以及反射率信

  • MSLiD 的多信号融合模块(MSF)可以高效地结合密集的环境光、反射率图像以及稀疏的多回波点云。

  • MSLiD 的多回波聚合模块 (MEA)可以从多组回波中获得更丰富的物体情景信息,更准确地定位和分类物体

方法概述


LiDAR 传感器通过发射激光并接收激光反射信号测量距物体的距离。如图一所示,部分LiDAR传感器所发射的激光脉冲可能穿透物体从而接受到多个反射信号。这些多回波信号可以提供很多关于物体的信息,比如物体表面是否透明,这些信息可以被用来提升三维物体检测的准确性。本文提出使用多回波生成的点云,而不是传统单一回波生成的点云进行三维物体检测的任务。

新知达人, 基于多回波 LiDAR 数据的三维物体检测

除多回波信号外,LiDAR 传感器同时还可以捕捉环境光以及反射率,这些信息同样可以被用来提升三位物体检测的准确率。具体来说,本文将环境光和反射率分别投射生成范围图像(range image)。图二显示这些范围图像作为二维卷积神经网络的输入被用来进行二维物体识别。二维物体识别的结果可以生成三维点的分类信息。同多回波点云的点特征和范围图像的像素特征一起,三维图神经网络可以生成三维物体的边界框。

新知达人, 基于多回波 LiDAR 数据的三维物体检测

多回波聚合

位于边界框内的点云作为输入预测物体的分类和细化边界框。不同于传统基于单回波点云的方法,本文将多回波点云根据可穿透性分组。可穿透点云特征和不可穿透点云特征被串联在一起共同被用于分类和精细边界框预测。

损失函数

网络的损失函数由两部分组成:

  1. 边界框生成误差

  2. 边界框分类和精细化误差

实验结果


本文分别在真实数据集和合成数据集上测试 MSLiD。 其中真实数据集使用原型 LiDAR 传感器在一个北美城市采集; 合成数据集基于 CARLA 模拟器生成。

表一显示使用多回波点云可以提升多个 SOTA 方法的物体检测准确度。且本文提出的 MSLiD 框架可以在这些 SOTA 方法以上继续提升准确度,表明融合环境光和反射率图像可以同样可以提升三维物体检测表现。

新知达人, 基于多回波 LiDAR 数据的三维物体检测

表三显示多信号融合模块(MSF)和多回声聚合(MEA)模块均可以显著提升准确率。

新知达人, 基于多回波 LiDAR 数据的三维物体检测


更多“检测”相关内容

更多“检测”相关内容

新知精选

更多新知精选