Paper reading:Frustum PointNets for 3D Object Detection from RGB-D Data

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/Felaim/article/details/81606882

标题:Frustum PointNets for 3D Object Detection from RGB-D Data

作者:Charles R. Qi, Wei Liu, Chenxia Wu, Hao Su, Leonidas J. Guibas

今天介绍的文章是”Frustum PointNets for 3D Object Detection from RGB-D Data”–用于从RGB-D数据进行3D物体检测的视锥点云网络(翻译成中文感觉怪怪的。。。),文章发表在CVPR2018。

本文将介绍一种3D目标检测的方法–Frustum PointNets,该方法既可以应用于室内场景,也可以进行室外场景的目标检测。该方法融合了2D目标检测和深度学习的方法进行3D目标定位,通过对点云数据的直接处理,在很强的遮挡情况下或者稀疏的点云下,仍然可以非常有效的估计3D边界框。在KITTI和SUN RGB-D 3D detection的数据集上都获得了不错的成绩,并且达到了实时的要求。

图一

如上图所示,对给定的RGB-D数据,作者首先利用卷积神经网络(CNN)对RGB图像生成region proposals。通过深度数据得到点云,对每个region proposal转换到3D视锥中的点云。最后,由Frustum PointNets在视锥中预测出一个(带有方向和非模态的)检测目标的回归框。

这里写图片描述

其次,在被每个3D视锥限制的3D空间中,作者连续两次使用变种的PointNet进行3D对象的实例分割和非模态的3D边界框回归。分割网络预测感兴趣对象的3D掩膜(即实例分割),回归网络估计出非模态的3D边界框(很有意思的是如果对象只有部分可见,回归框也能够覆盖整个物体)。

这里写图片描述

如上图所示,网络结构的可视化输出,其中真阳性检测边界框为绿色,假阳性边界框为红色,真实值为蓝色以显示假阳性和假阴性的例子,每个边界框旁边的数字和字母表示实例id和语义的类别,汽车为’v’,行人为’p’,骑车人为’c’。可以看到3D实例分割和边界框的回归在有挑战的情况下,结果都非常的不错。

第一次这么官话的介绍这个论文,感觉还是怪怪的。这个其实是预备啦,哈哈,后面详细的应该不会像这样。。。未完待续O(∩_∩)O

猜你喜欢

转载自blog.csdn.net/Felaim/article/details/81606882