基于深度学习初始位姿估计的机器人摄影测量视点规划

摄影测量是指:利用单相机从多个角度拍摄大量图片、从图像中提取被测场景不变特征作为约束和重建对象、恢复相机的拍摄位姿进行物体三维重建的技术,包括纯视觉三维重构中相机成像与标定、多视图几何理论、二维图像到三维点云等基础内容。

机器人摄影测量是指:工业机器人安装具有可视能力的视觉末端,利用机器人自动化可编程等特征,实现被测对象的自动化摄影测量。位姿估计深度学习的融入促进了机器人摄影测量更加智能化。

大尺度复杂对象的数字化模型通常难以获得,采用光学扫描仪、激光雷达等方式成本昂贵、工作量大、操作过程复杂。而在航空航天、机器工程、汽车交通、生物医学等众多领域,对象的真实三维形貌对于制造装配的引导、数字化建模与设计优化等方面具有重要实际作用。基于纯视觉的三维数据获取满足便携性和大尺度等需求,同时对于促进视觉与其它领域的交叉融合具有重要意义。

在这里插入图片描述
在这里插入图片描述

摄影测量示意图

机器人摄影测量系统组成包括:机器人本体、视觉末端、计算机及控制器等。视觉系统固定安装在机器人末端执行器,机器人作为执行机构,搭载单目相机达到指定位置, 并以优化的视角和路径获取被测对象图像序列,然后按照摄影测量理论进行三维重建。机器人摄影测量优势在于替代人工拍摄、保证拍摄视点接近理论设计值、自动化程度高。

在这里插入图片描述

机器人摄影测量系统示意

在这里插入图片描述
在这里插入图片描述

机器人扫描与位姿估计

在这里插入图片描述

深度学习多目标识别

在这里插入图片描述

飞机6D位姿估计
在机器人摄影测量系统中,机器人依赖于离线编程,现场标定、视点规划及轨迹规划需离线完成,受限于实际工作状态,即使完成了测量轨迹的规划也不能保证实际运行的准确性。得益于单目摄影测量技术和单目位姿估计技术,提出融合了深度学习位姿估计的机器人摄影测量系统最优拍摄视点和最优扫描路径的方法。技术路线如图所示。 ![在这里插入图片描述](https://img-blog.csdnimg.cn/31961b9104294ba890cbeb92ba2237ad.png)
融合位姿估计的机器人摄影测量技术路线

利用YOLO+PNP的位姿估计网络,实现从单幅图像进行目标物体的初始位姿估计。初始位姿估计替代了传统现场标定过程,对被测对象摆放状态没有任何限制。同时,位姿估计替代了摄影测量中相机拍摄视角依赖公共特征中转、本质矩阵鲁棒估计消耗大等过程,提升了摄影测量的效率。基于三角面片模型,提出一种单目相机2D-3D映射的被测对象可见性矩阵估计方法,对面片的可见性进行标记,根据深度原则和唯一性原则判断该拍摄视角下面片的可见性;建立线性规划模型优化最优拍摄视角,提出最大可重建概率的熵权法对每个拍摄视角的可重建性进行加权;建立TSP模型对获得的优化视角进行最优路径规划,获得机器人扫描的最优路径。为验证算法有效性和精度,本文利用英国诺丁汉大学制造测量实验室的3D打印件进行姿态估计和摄影重建。实现过程和结果如图所示。

在这里插入图片描述
图中显示了三种被测对象的重建过程。包括原始对象示意,6D位姿估计的可视化结果,训练过程,轨迹规划结果,摄影重建模型

扫描二维码关注公众号,回复: 14430091 查看本文章

目前,深度学习技术在计算机视觉领域应用广阔,但是在工业领域仍需积极探索。视觉测量等多学科交叉融合促进了传统机械自动化向智能化转变升级。本文方法促进了机器人摄影测量系统现场测量的智能性、灵活性和自动化程度,对工业摄影测量具有重要的推进意义。
参考文献:[1]姜涛,崔海华,程筱胜,田威.基于深度学习初始位姿估计的机器人摄影测量视点规划[J/OL].自动化学报:1-12[2022-08-02].DOI:10.16383/j.aas.c200255.

猜你喜欢

转载自blog.csdn.net/qq_27353621/article/details/126118912
今日推荐