新知一下
海量新知
6 5 2 3 1 9 7

采集、重建、模拟:UrbanScene3D数据集

3D视觉工坊 | 个人微信公众号:3D视觉工坊。 2022/09/23 09:27

来源丨 深圳大学可视计算研究中心

新知达人, 采集、重建、模拟:UrbanScene3D数据集

新知达人, 采集、重建、模拟:UrbanScene3D数据集

导读

本文是VCC林力强同学对论文 Capturing, Reconstructing, and Simulating: the UrbanScene3D Dataset 的解读,该工作来自深圳大学可视计算研究中心并已被发表在计算机视觉顶级会议ECCV 2022上。论文第一作者林力强是VCC 2019级硕博连读生。

项目主页:

https://vcc.tech/UrbanScene3D/

该工作成功 构建了一个户外大场景三维模型平台,提供不同无人机飞行算法在不同条件下的航拍路径、航拍照片和一个带有物理引擎、光照系统的仿真环境 ,不仅能够用于无人机航线规划算法的测试、重建算法的评估、无人机与无人车的相关研究,也能被用于生成场景深度图和实例分割标签从而为其他方向的研究提供帮助。

I

 引言

新知达人, 采集、重建、模拟:UrbanScene3D数据集

图1 UrbanScene3D中包含的不同场景

本次导读论文提出了一个用于研究城市场景感知和重建的大型数据平台UrbanScene3D。该数据集包含超过12.8万张高分辨率图像,涵盖16个场景,包括总面积136平方公里的大型真实城市场景和虚拟城市场景。该数据集还包含高精度激光雷达扫描和数百个具有不同观察模式的图像集,为设计和评估无人机路径规划和三维重建算法提供了全面的基准。此外,基于Unreal引擎和Airsim模拟器,数据集中每个建筑物均手动标注了唯一的实例标签,可以生成各种数据,例如二维深度图、二维/三维边界框和三维点云/网格分割等。带有物理引擎和照明系统的模拟器不仅可以生成各种数据,还可以让用户在提供的城市环境中模拟无人车和无人机,为未来的研究提供帮助。下表展示了UrbanScene3D中不同场景的统计数据:

新知达人, 采集、重建、模拟:UrbanScene3D数据集

表1 UrbanScene3D不同场景数据统计

II

 数据集特点

下表对比了UrbanScene3D与不同的户外场景数据集:

新知达人, 采集、重建、模拟:UrbanScene3D数据集

表2 不同户外场景数据集对比

该论文提出的UrbanScene3D数据集具有以下特点:

  • 采集视角大: 大多数户外数据集是利用地面扫描设备采集的,不能够完整地覆盖整个场景。UrbanScene3D使用无人机根据不同的算法得到的路径来采集场景信息,得到精度更高、更加完整的城市场景数据;

  • 场景覆盖范围大: UrbanScene3D提供了16个不同的城市场景,总面积136平方公里。其中包括三个覆盖面积超过24平方公里的大规模城市场景和两个覆盖面积超过一平方公里的完整真实场景;

  • 不同模式的观测数据: UrbanScene3D针对同一个场景提供在不同航拍路径与不同时间、不同天气条件、不同光照条件下采集到的数据,增加了观测数据的多样性;

  • 融合虚拟数据与真实数据的仿真环境: UrbanScene3D提供的模拟器可以导入虚拟城市模型与真实世界的重建场景,不仅能够用于无人机、无人车的仿真,还可以用于解决虚拟数据与真实数据之间的跨领域误差问题;

  • 针对无人机路径规划的数据集基准: UrbanScene3D针对不同无人机路径规划算法在不同的因素下对最终重建结果的影响进行了详细的对比与测试,为新的无人机路径规划算法与重建算法提供了新的评估基准。

新知达人, 采集、重建、模拟:UrbanScene3D数据集

图2 UrbanScene3D提供的模拟器能够用于实时模拟、生成场景物体实例分割标签与深度图

III

 无人机路径规划基准

UrbanScene3D主要针对倾斜摄影、Smith [1]等人提出的算法、Zhou [2]等人提出的算法与Zhang [3]等人提出的算法进行测试。这四种算法生成的无人机路 如图3所示:

新知达人, 采集、重建、模拟:UrbanScene3D数据集

图3 不同算法在两个场景上生成的路径示意图

当前的无人机路径规划算法主要依赖于预先得到的场景粗糙模型,即代理模型,来进行无人机路径的优化。同样的路径规划算法利用精细的代理模型通常可以得到更好的重建结果。UrbanScene3D对虚拟场景提供了从粗糙到精细四个层级的代理模型,对真实场景提供了三个层级的代理模型,如图4所示。UrbanScene3D分别使用不同层级的代理模型在不同的采样点重叠率下对以上四种无人机路径规划算法进行对比评估。

新知达人, 采集、重建、模拟:UrbanScene3D数据集

图4 不同层级的代理模型示意图

为了对重建得到的真实场景模型进行重建精度与完整度评估,UrbanScene3D利用搭载GPS定位设备的高端激光雷达扫描仪对场景中的整栋建筑进行扫描,得到高精度的场景扫描点云,如图5所示:

新知达人, 采集、重建、模拟:UrbanScene3D数据集

图5 两个真实场景的高精度激光点云与对应重建模型的误差示意图

图6、图7、图8对比了不同无人机路径规划算法的飞行电量消耗、重建精度与重建完整度。由于倾斜摄影具有最简单的路径模式,因此电量消耗最小,但重建结果最差。Zhang [3]等人的方法在规划路径的同时对生成路径的质量进行优化,因此能够在得到高精度模型的同时减小电量的消耗。Smith [1]等人与Zhou [2]等人提出的算法都能够得到更好的重建结果,但Zhou [2]等人提出的算法的飞行消耗更低。

新知达人, 采集、重建、模拟:UrbanScene3D数据集

图6 不同方法的采集电量消耗对比

新知达人, 采集、重建、模拟:UrbanScene3D数据集

图7 不同方法的采集重建精度对比

新知达人, 采集、重建、模拟:UrbanScene3D数据集

图8 不同方法的采集重建完整度对比

下面两个视频分别展示了仿真环境中无人机在不同光照条件下的飞行与多个真实场景的重建结果。

IV

 UrbanScene3D的下载与使用

UrbanScene3D一共包含1.43TB数据(压缩包形式),其中带有虚拟场景和真实场景模拟器63GB,带有真实场景扫描数据的重建结果评估程序190MB。我们在项目主页 https://vcc.tech/UrbanScene3D/ 中提供UrbanScene3D相关数据的分类下载与相关的使用说明,支持Google Drive、Dropbox与百度云网盘三种下载方式。用户可以根据需求按照不同的场景、不同的算法、不同的代理模型、不同的采样重叠率下载航拍路径、图片与重建结果,也可以选择将整个数据集打包下载。从仿真环境到评估程序的整套工具能够有效地帮助相关研究工作的开展和推进。

新知达人, 采集、重建、模拟:UrbanScene3D数据集

新知达人, 采集、重建、模拟:UrbanScene3D数据集

V

 总结

这篇文章详细介绍了一个大型数据集平台UrbanScene3D,为广大用户提供了丰富的数据标签和六个代表性场景在不同观察模式下采集得到的不同数据。相应的不同重建模型和GT模型/扫描点云可用于评估路径规划算法和MVS算法。此外,UrbanScene3D中包含的模拟器允许用户进一步探索和采集具有不同照明模式/天气条件(如图9所示)的城市场景数据。作者还计划在不久的将来为数据集加入更高级的几何描述信息,例如不同建筑的三维结构点、横截面轮廓、线框或面片等,以支持计算机图形学和计算机视觉相关方向的进一步探究。

新知达人, 采集、重建、模拟:UrbanScene3D数据集

图9 模拟器中不同天气条件与光照环境下的城市场景

VI

 思考与讨论

以下是开放性问题,欢迎读者朋友留言讨论:

Q: 本文提出的数据集可以用于测试和评估无人机路径规划算法、多视图重建算法,附带的模拟器也可以很方便地生成用于场景深度图预测的数据和物体实例分割的标签。如何更好地完善UrbanScene3D?是否有其他可以扩展的应用?还有什么可以引入的新数据?


更多“算法”相关内容

更多“算法”相关内容

新知精选

更多新知精选