新知一下
海量新知
6 0 8 9 9 7 6

视觉与惯导融合的煤矿移动机器人定位方法

IM智能矿业 | 科技赋能矿业,让采矿酷起来! 2021/04/02 12:01

 近年来, 基于视觉传感器的定位方法 成为研究热点。 特征点法 是目前主流的单目视觉定位解算方法。特征点是图像的一个重要局部特征,也是图像信息的数字表现形式。很多关于特征点提取的算法被提出。其中 快速特征点提取和描述(ORB) 算法 实时性、鲁棒性较好,但在光照变化和弱光照区域表现较差,无法应用于煤矿井下光照较暗的场景。本文在ORB算法的基础上进行改进,采用 随机抽样一致性(RANSAC)算法 进行特征点匹配,采用对极几何法进行视觉解算,提高了煤矿井下弱光照区域的特征点提取效率。但单目视觉定位仍存在尺度问题,即观测一个物体时,仅靠单目视觉定位无法确定机器人与物体的距离及物体的大小,因此, 本文将单目视觉定位数据与惯导数据进行融合,以恢复视觉相机的尺度,提高定位精度

 采用紧耦合方法实现多传感器耦合,即将惯导数据与单目视觉数据分别不完全解算后再进行联合优化。紧耦合原理如图所示。

新知达人, 视觉与惯导融合的煤矿移动机器人定位方法

紧耦合原理

惯导与单目相机的频率不同,数据类型不匹配,因此需要分别对数据进行处理。惯导数据与视觉数据的关系如图所示,其中r1—r3为地图中的路标点,c1—c3为相机的中心,d1—d3为关键帧。在2个关键帧之间存在许多惯导数据,因此需要将若干惯导数据积分成一点,再进行后续数据融合

新知达人, 视觉与惯导融合的煤矿移动机器人定位方法

惯导数据与视觉数据的关系

作者 】张羽飞1,3,马宏伟2,3,毛清华2,3,华洪涛1,3,石金龙1,3

Author 】 ZHANG Yufei1,3,MA Hongwei2,3,MAO Qinghua2,3,HUA Hongtao1,3,SHI Jinlong1,3

作者机构 】1.西安科技大学 电气与控制工程学院, 陕西 西安710054;2.西安科技大学 机械工程学院, 陕西 西安710054;3.陕西省矿山机电装备智能监测重点实验室, 陕西 西安710054

Unit 】1.College of Electrical and Control Engineering, Xi'an University of Science and Technology, Xi'an 710054, China; 2.College of Mechanical Engineering, Xi'an University of Science and Technology, Xi'an 710054, China; 3.Shaanxi Key Laboratory of Intelligent Monitoring of Mining Electromechanical Equipment, Xi'an 710054, China

摘要 】针对现有移动机器人单目视觉定位算法在光照变化和弱光照区域表现较差、无法应用于煤矿井下光照较暗场景的问题,通过非极大值抑制处理、自适应阈值调节等对快速特征点提取和描述(ORB)算法进行改进,采用随机抽样一致性(RANSAC)算法进行特征点匹配,提高了煤矿井下弱光照区域的特征点提取和匹配效率。针对仅靠单目视觉定位无法确定机器人与物体的距离及物体大小的问题,采用对极几何法对匹配好的特征点进行视觉解算,通过惯导数据为单目视觉定位提供尺度信息;根据紧耦合原理,采用图优化方法对惯导数据和单目视觉数据进行融合优化并求解,得到机器人位姿信息。实验结果表明:① ORB算法虽然提取的特征点数较少,但耗时短,且特征点分布均匀,可以准确描述物体特征。② 改进ORB算法与原ORB算法相比,虽然提取时间有了一定的增加,但提取的可用特征点数也大大增加了。③ RANSAC算法剔除了误匹配点,提高了特征点匹配的准确性,从而提高了单目视觉定位精度。④ 改进后融合定位方法精度有了很大提升,相对误差由0.6 m降低到0.4 m以下,平均误差由0.20 m减小到0.15 m,均方根误差由0.24 m减小到0.18 m。

【Abstract 】The existing mobile robot monocular vision positioning algorithm performs poorly in illumination changing and weak illumination areas, and cannot be applied to dark scenes in coal mines. In order to solve these problems, the oriented FAST and rotated BRIEF (ORB) algorithm is improved by non-maximal value suppression processing and adaptive threshold adjustment. The random sample consensus (RANSAC) algorithm is used for feature point matching, which improves the efficiency of feature point extraction and matching in weak illumination areas of coal mines. In order to solve the problem that the distance between the robot and the object and the size of the object cannot be determined by monocular vision positioning alone, the epipolar geometry method is used to visually calculate the matched feature points, and the inertial navigation data is used to provide scale information for monocular visual positioning. Based on the tight coupling principle, the graph optimization method is applied to fuse, optimize and solve the inertial navigation data and monocular visual data so as to obtain the robot pose information. The experimental results show that: ① Although the number of feature points extracted is small, the ORB algorithm takes less time. The feature points, which are evenly distributed, can accurately describe the object features. ② Compared with the original ORB algorithm, the improved ORB algorithm has a certain increase in extraction time. However, the number of available feature points extracted is also greatly increased. ③ The RANSAC algorithm eliminates the mismatched points and improves the accuracy of feature point matching, thus improving the accuracy of monocular vision positioning. ④ The accuracy of the improved fusion positioning method is greatly improved, the relative error is reduced from 0.6 m to less than 0.4 m, the average error is reduced from 0.20 m to 0.15 m, and the root mean square error is reduced from 0.24 m to 0.18 m.

关键词 】 煤矿移动机器人;单目视觉定位;惯导;融合定位;特征点提取;特征点匹配;ORB算法;RANSAC算法

Keywords 】coal mine mobile robot; monocular vision positioning; inertial navigation; fusion positioning; feature point extraction; feature point matching; ORB algorithm; RANSAC algorithm

【基金项目】 国家自然科学基金重点项目(51834006);国家自然科学基金面上项目(51975468)

|来源:工矿自动化

更多“移动机器人”相关内容

更多“移动机器人”相关内容

新知精选

更多新知精选