AD-Census算法来自于中国学者Xing Mei等在ICCV2011发表的论文《On Building an Accurate Stereo Matching System on Graphics Hardware》1。算法效率高、效果出色,Intel RealSense D400就是基于该算法实现的立体匹配 2。
本系列将带大家深入了解AD-Census的理论,希望能够对同学们的立体匹配算法研究有所帮助。
AD-Census是一个将局部算法和半全局算法相结合的算法,它包含四个步骤:1 初始代价计算、2 代价聚合、3 扫描线优化、4 视差优化。本篇的内容是扫描线优化部分。
Step 1. AD-Census Cost Initialization
Step 2. Cross-based Cost Aggregation
Step 3. Scanline Optimization
Step 4. Multi-step Disparity Refinement
【理论恒叨】【立体匹配系列】经典AD-Census: (3)扫描线优化
如果了解另外一个立体匹配经典算法:SemiGlobalMatching,对扫描线优化肯定是不陌生的,大家可以重温下我前面的博客:
SGM的代价聚合就是使用的扫描线优化思路,而AD-Census的扫描线优化思路正是借鉴于SGM,思路具有高度一致性。
We employ a multi-direction scanline optimizer based on Hirschmuller’s semi-global matching method
做扫描线优化的目的是要进一步提高代价的准确性,减少匹配错误。优化思路和SGM的代价聚合思路一模一样(注意SGM的扫描线优化叫代价聚合,而AD-Census就叫扫描线优化,实际上本质是一样的操作,只是叫法不同而已)。优化的方向数为4,分别是左、右、上、下。
像素 某一方向 的优化公式为:
和SGM的公式一样的,如果大家想了解详细,请查看下面贴出的博客地址,这里就不细说了。
AD-Census所做的修改在于 和 值的设定方式,在SGM中, 、 是预设的固定值,实际使用的 是根据左视图相邻两个像素的亮度差值而实时调整的,调整公式为 。
而在Ad-Census中, 、 不只是和左视图的相邻像素颜色差 有关,而且和右视图对应同名点的相邻像素颜色差 有关。
(注1:AD-Census算法默认输入彩色图,所以是算颜色差,如果是输入灰度图,则是亮度差,颜色差的定义是
,即三个颜色分量差值的最大值)
(注2:
实际就是像素
通过视差
找到的右视图上的同名点
)
(注3:
代表聚合方向上的上一个像素,比如从左到右聚合,则
就是
;从右到左聚合,则
就是
)
具体设定规则如下:
是设定的固定阈值, 是设定的颜色差阈值。
我们首先要搞清楚 和 到底是在惩罚什么,在SGM的理论介绍博文中,我说的比较详细,总的来说,它们是在惩罚相邻的像素视差相差很大这种表现, 惩罚的是相差1个像素, 惩罚的是相差1个像素以上,而理论依据就是一个假设:颜色相近的像素具有相近的视差值。因此通常会判断两个像素颜色是否相近,如果颜色相近,那么就认为俩像素应该要有相近的视差,如果俩视差相差很大,那么就要给其一个较大的惩罚值,也就是让 及 更大些。
上面这段话理清之后,你就能理解为什么SGM要根据亮度的差值来调整 ,也能理解AD-Census的这个规则的含义。它无非就是在SGM的基础上,把情况考虑的更加精细一些,把左右图像的亮度差都考虑进来,会更加鲁棒。我分条给大家做个解读:
- 规则1的意思是,如果左右图像相邻的像素颜色差都很小,那么这俩像素大概率就是视差相同或相近了,视差差1个像素以上都要被大力度惩罚,所以这里 和 是最大的。
- 规则2的意思是,如果左图像相邻像素颜色差很小,而右视图相邻像素颜色差略大,那么俩像素视差相同或相近的概率较第一种情况稍稍降低,相比第一种情况,减少 和 的值。
- 规则3和规则2是一个意思,左右相反,右图像颜色差小,左图像颜色差略大。 和 的值和规则2一样。
- 规则4的意思是,如果左右图像相邻的像素颜色差都很大,那么这两像素的视差大概率是一定差别的,很可能是视差非连续区,差1个像素以上。所以惩罚力度应该最小, 和 此时就是最小的。
最后,4个方向的优化代价,取平均值赋给像素 :
本篇的内容就到这里,咱们一篇一个大步骤,不多好消化。下一篇带来的是AD-Census最后一步:视差优化。
Zhang K , Lu J , Lafruit G . Cross-Based Local Stereo Matching Using Orthogonal Integral Images[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2009, 19(7):1073-1079. ↩︎
Keselman L , Woodfill J I , Grunnet-Jepsen A , et al. Intel® RealSense™ Stereoscopic Depth Cameras[C]// 2017 IEEE Conference on Computer Vision and Pattern Recognition Workshops (CVPRW). IEEE, 2017. ↩︎