Stixels estimation without depth map computation 阅读笔记

1介绍

(1)使用立体影像快速检测

深度图作为提高检测质量和速度的传统方法;

减少检测窗口,可以提高速度;

本文将实现不计算深度图估算stixel的方法;

(2)Stixels场景

一个特定的参数化世界的模型,强大的简化假设;

假设地面局部平坦,所有对象被描述为“棍棒”垂直在地面上;

每一个垂直的棍子相当于图中的一根柱子,称为 stixel (棒状像素);

(3)假设

拍摄相机等平行于地面;

地面局部平坦;目标对象的高度在一个已知的有限范围内;

立体系统是精准的,对地面的初始位置有一个粗糙的估计;

(4)贡献

(描述了传统stixel 方法大多建立在深度图的基础上,深度图包含大量的信息,减缓了   速度);

不用计算中间深度图,直接计算stixel world;

stixel world自己定义了先验知识和平滑约束;

(5)相关工作

(其他研究学者做的相关类型的工作)

2 Stixel估计算法

输入:校准后的双目立体图像

Step1:计算Cm(u,v,d)(匹配代价);

Step2:利用Cm(u,v,d)估算地平面;

Step3:利用地平面估算stixel视差(即stixel深度);

Step4:利用stixel视差估算stixel高度

输出:stixel模型

Stixels为一个像素宽度的表示方法。Stixel估计即为计算图像的每列u的。

平均每列的匹配代价作为Stixel估计可以以减少整体计算成本,但同时也会减少stixels空间分辨率。在本文中,不探索这个空间分辨率对速度的影响。

2.1 计算cost volume

给出双目立体图像,计算出与之匹配的costvolume:左视图中的每个像素和每个视差      值,都可以计算出在RGB颜色通道的绝对差之和的cost值。

Kubota.et al假设图像包含强大的方向梯度,用基于匹配的方向提高鲁棒性。这样的话, 如果排除了处理带有点而不是行的纹理,就太限制了。

A pixel-wisecost volume(视差代价空间)记为Cm(u,v,d)

2.2 地面估计

不计算深度的v视差算法:沿水平方向u,将相同的视差值进行累计,将原来的v视差图重新构建成新的v视差图。

映射关系f ground :V → D   得到地面的视差dground

2.3 Stixel视差计算

沿水平方向u映射可以估算出地面,而沿垂直方向v映射则可以估算出Stixel深度。

Stixel视差(也就是Stixel深度)计算方法为在数据项 cs和平滑项ss的基础上进行二维动态规划,目的是为了寻找最佳Stixel视差(Stixel视差):

其中ua和ub相邻,即;使得最小的d为最佳Stixel视差

(1)数据项

cs(u,d) = co (u,d) + cg (u,d)

co(u,d) 和cg(u,d) 分别表示对象和地面的代价;

由映射关系fground : V → D反映射得到:v(d) = f−1ground(d) →(u,d)=(u,v(d));

给定一个点的高度v(h,d),通过相机标定、地面估计 估计点的位置;

假定一个最小对象的高度为h0

(2)平滑项

因为双目视差的缘故,有些存在立体图像中的对象在左图中不可见,而在右图中可见(反过来也是一样),因此当我们分析左图时,被遮挡的   对象的stixel就会无效,因此采用平滑项来解决这一问题;

(3)动态规划

、映射关系v(d)= f−1ground (d) →  stixel底部(

2.4 Stixel高度估计

1)隶属函数m(u,v)

Badinoetal是由输入深度图中pixel-wise视差和stixel视差之间的距离得出m(u,v)。   本文使用类似的方法,仅由stixel 视差得出m(u,v);

m(u,v)是判断stixel上的每个像素是否隶属同一个对象的隶属函数,m(u,v)=1时,表示隶属对象,当m(u,v)=—1时,表示隶属背景,当m(u,v)=0时,表示没有结果;

其中:表示的邻域像素,例如周围的某10个像素;表示 领域像素的个数;∆ max 为常数,定义的一个最小差距值,文中∆max= 10;      表示5*5的均值滤波器;

(2)数据项 c h(u,v)

m(u,v)→ c h (u,v);

其中:表示设定对象的最大高度所在的行数;

(3)平滑项 sh (u,v)

其中:k1为比例函数;ua和ub相邻,;为领域stixels视差的相互影响距离;

(4)动态规划

同理,使得为极大值得v为;

在后期处理中,如果估计的stixel高度远高于我们预期的高度,则认为这个stixel高度估计是错误的。

3 结果

3.1 评估数据集

理想的状态:计算出的stixel均被带注释的方格(检测方格)紧紧的包围住;

使用的数据集为Ess的,在每个左帧序列图中提供了7400多个40像素高度的方格,同时提供了内部的相机校准、立体视觉平台校准和地面的大致估计,每幅图片大小为640*480pixel。

3.2 Stixel估计误差

为了定量描述误差,测量在每个方格中stixel顶部和底部之间的误差(被挡住对象的stixel估计同样如此);

有两个需要回答的问题:1)是否估算的行人高度比假设的行人高度要准确?

2)本文采用的方法是否比利用深度图估算的方法要好?

3.3 行人检测率

3.4 错误案例

3.5 计算费用

(1) 对比利用深度图的stixel估计

Step1和step5减少了10%;step4减少了15%;

(2) 减少搜索检测空间

4 结论与展望

 

 

 

疑问记录

1)公式计算的具体含义              (已解决)

2)Stixels高度估计平滑项的目的      (已解决)

3)如何确定地面的映射              (已解决)

4)双目视图模型、视差、匹配代价Cm(u,v,d)如何计算    (已解决)

————————————————————写在最后————————————————————————————

本文章为阅读笔记,不少内容仅仅为翻译结果,如有疑问或错误,欢迎联系QQ邮箱:[email protected]

猜你喜欢

转载自blog.csdn.net/u013247002/article/details/79220263