RGB-D特征检测与描述方法及其应用研究
Local RGB-D Feature Detection,Feature Description and Its Application
黎 晓 阳
主要工作：
1 绪论
2 采集RGB-D标准数据集
采集RGB-D数据集，可分为三大类，纹理信息丰富、纹理信息不丰富但几何信息丰富、纹理信息和几何信息均丰富。（二维局部特征主要利用纹理信息，三维局部特征主要利用点云的几何信息）
针对每一类数据，本文对图像发生旋转变换、尺度变换、光照变换以及视角变换四种情况均进行了数据采集，其中旋转变换分为二维平面旋转和三维旋转，因此每一类数据包含5小类。
3 信息融合的RGB-D局部特征RISAS
3.1 RGB-D局部特征检测算子
3.1.1 纹理信息特征检测
主要借鉴了Harris角点检测的思想。引入了自相关响应值R，R值越大，该区域内越可能是角点，该区域的灰度变化也便越大。因此对灰度图进行自相关响应计算后，可以得到对应的自相关响应值R(RGBD)。
对上式进行一系列变换后，
增大α的值，将减小R，降低角点检测的灵敏性，减少被检测角点的数量；减小α的值，将增大R，增大角点检测的灵敏性，增加被检测角点的数量。
补充：Harris 角点检测算子对图像亮度和对比度具有部分不变性，但由于阈值的选择，可能会影响到检测角点的数量。Harris 角点检测算子具有旋转不变形。 但最初的Harris 角点算子不具有尺度不变形。
3.1.2 几何信息特征检测
RISAS 对几何信息的利用是将局部点云看做一个曲面，求取每个点对应的法向量和特征点对应法向量之间的点积值，然后对局部点积值进行分组信息编码。最后将自相关函数作用于点积图获取特征响应值R(depth)。
点云法向量求解策略很多， 主要可以分为基于几何信息和基于融合的方法。基于几何信息是根据中心点邻 域的最近邻的关系来求取法向量。基于融合的方法则是求取邻域点与中心点差异值的同时，优化求取窗口大小的算法，加快了法向量求解速度。本文采取的是基于几何信息方法中比较有代表性的最小二乘法平面拟合的空间法向量估计算法。
求解带约束条件的优化问题，可以使用拉格朗日乘子法。（计算过程有点复杂，先略去不看吧）
但是单个点的法向量无法确定局部曲面的几何形状，因此需要与引入空间中额外点的位置关系确定局部曲面形状，如图3.8所示，虽然(ni - n0)=(nj - n0)，但是(pi - p0)和(pj - p0)却是不同的方向。因此dpi最终由公式3.22确定，其中主法向量的空间位置信息对应于场景中心点(p0,nmainNormal)。
3.1.3 信息融合特征检测
下图为本文设计的RGB-D信息融合特征检测算子。(需要对点积图进行高斯滤波以及均值滤波)
当光照条件比较差的时候利用R(RGB) 进行特征检测已经很难检测到特征点， 再进行R(depth)筛选将导致检测结果更加稀少甚至检测失败。
考虑到RGB-D摄像机硬件本身的问题，采集得到的深度图像存在深度缺失的情况，由于深度缺失会造成法向量求解精度下降，因此将自相关函数作用于点积图时容易产生很多噪声，影响最终的检测结果。
因此首先进行高斯滤波，再进行均值滤波。
3.1.4 实验分析
对图像进行了不同程度的光照变换。使用了重复率来评估RISAS检测算子。
3.2 基于深度信息的尺度估计
类似SIFT和SURF这些对尺度变换具备自适应的局部特征是通过构建尺度空间，进而寻找响应最大也即最适合的尺度作为当前场景 的特征尺度。
基于纹理信息的尺度估计方法已经非常成熟，但是同样存在当纹理信息不丰富或者光照条件比较恶劣时，无法准确鲁棒获得当前场景的尺度信 息的问题。
3.2.1 基于经验公式的尺度估计
存在的问题就是对于0 - 2m内的尺度变化不具备自适应性（这句话没太看懂？）
同时Xtion和Kinect 相机的深度分辨率和深度值并不是严格线性关系[60]（这个记录下来，以后看一下）
总之，使用简单经验公式估计出来的尺度存在一定的误差。
3.2.2 点云重投影尺度再估计
使用基于经验公式得到的特征点局部半径r作为待描述局部区域尺寸的初始估计值，将特征点所在的局部区域初始局部像素投影到三维空间，获得点云。之后使用阈值滤除背景点，并进行椭球体拟合，最后将点云最大包围半径投影回像平面，从而获得最终待描述区域半径。
基于经验公式的尺度估计虽然存在一定的不足，但是其完全基于深度信息，可以快速给出特征点的初始尺度值，同时对光照变换鲁棒，也不会受到纹理信息缺乏的影响，因此本文将基于经验公式估计得到的特征点局部半径r作为待描述局部区域尺寸的初始估计值。
3.3 基于深度信息的主方向估计
3.3.1 基于深度最大变化主方向估计
借鉴了SURF求取主方向的思路。但不同于SURF计算Haar小波响应，而是计算该区域内每个像素对应的法向量和中心点对应的法向量的点积，将点积和最小对应的扇形角度作为主方向。
3.3.2点云重投影主方向估计
在基于点云重投影尺度再估计中，对点云Pxyz(ki)进行椭球体拟合中，计算得到协方差矩阵C3X3得到了三个特征值。当最大特征值与其余两个特征值比较接近时，采用基于深度最大变化主方向估计，当其中一个特征值较大或者较小时，采用较大或较小的特征值作为点云团的主方向。
基于深度最大变化主方向估计可以解决在纹理信息不丰富以及光照比较恶劣情况下的主方向估计问题，但是当局部区域内的法向量变化比较对称或者一致时，那么这种将点积累加和最小的扇形对应的旋转角度作为主方向的办法就容易对噪声敏感，因为每个扇形对应的点积累加和差别不大，些许噪声就会影响主方向估计的结果。同时旋转扇形，进行点积累计运算是一项重复频繁的工作，将极大增加算子的时间开销。
3.4 RGB-D 局部特征描述算子
3.4.1 位置信息编码
本文采用如图3.18c所示的径向划分方法。本文设置空间分块个数npie=8.
3.4.2 纹理信息编码
对特征点邻域内所有像素的灰度值进行升序排列，然后等分为nbin个区间（在本文中，nbin=8），从而进行纹理信息编码。由于RISAS统计的是每个像素灰度值与局部邻域中其他像素灰度值的相对信息，因此对单调光照鲁棒。
3.4.3 几何信息编码
求解出去除奇异性的点积值后（3.1.2节），对点积值进行区间均等划分。这样便得到了每个像素的位置信息、纹理信息、几何信息，使特征点对应一个三维坐标。利用三维统计直方图得到融合了RGB-D信息的特征描述向量，最后对特征描述向量进行归一化操作。
4 RISAS性能评测
定量分析实验
4.2.2 时间效率对比实验
在时间效率上，只与LOIND描述算子做了对比。（由于LOIND没有检测算子，实验中均采用了RISAS检测算子）
（本人主要看了时间对比时间，其他的实验中貌似都是RISAS效果较好）
后续可以看一下的参考文献：
60
46
