【论文研读】A Network Architecture for Point Cloud Classification via Automatic Depth Images Generation

论文：A Network Architecture for Point Cloud Classification via Automatic Depth Images Generation(cvpr2018)

Autuor： Riccardo Roveri, Lukas Rahmann, A. Cengiz Oztireli, Markus Gross1

1苏黎世联邦理工学院 ¨

2Disney Research Zurich ¨

 

核心：

将点云数据转化为一系列的2D深度图片，再通过CNNs完成分类

2D图像的方向的学习是无监督的

 

network architecture

三个模型一起训练，第一二个模型没有loss

 

一、predicts K direction vectors

目的：估计K个camera-pose matrices

方法：1、通过K个分离的PointNet的架构，modifying the final fully connected layer to produce a 6D vector。

          2、将点云数据与每个camera-pose matrices相乘得到K个旋转后的点云数据

          3、旋转后，x，y为2Dimage坐标，z为深度

二、generates the depth images

方法：apply a bilateral-filering-like interpolation

具体步骤：1、对每个像素点c，得到一个集合，代表所有离c足够近的点（阈值人工设置）

                  2、对每个像素点c，得到maxD=中深度最深的值

                  3、得到集合P''(c)= {p ∈ P| |maxD(c) − pz| < δ2}，深度在一定范围内的点集

                  4、对每个像素点c，使用Gaussian interpolation得到f(c)

                  5、对于有K个点的点云样本，得到深度图

三、使用K张图片来分类

方法：utilize K ResNet50 architectures that share variables

网络构架：1、K个ResNet50后加一个max pooling，再regressing to a dense layer

                  2、pre-trained on ImageNet

Results

dataset：modelnet40