1介绍
(1)使用立体影像快速检测
深度图作为提高检测质量和速度的传统方法;
减少检测窗口,可以提高速度;
本文将实现不计算深度图估算stixel的方法;
(2)Stixels场景
一个特定的参数化世界的模型,强大的简化假设;
假设地面局部平坦,所有对象被描述为“棍棒”垂直在地面上;
每一个垂直的棍子相当于图中的一根柱子,称为 stixel (棒状像素);
(3)假设
拍摄相机等平行于地面;
地面局部平坦;目标对象的高度在一个已知的有限范围内;
立体系统是精准的,对地面的初始位置有一个粗糙的估计;
(4)贡献
(描述了传统stixel 方法大多建立在深度图的基础上,深度图包含大量的信息,减缓了 速度);
不用计算中间深度图,直接计算stixel world;
stixel world自己定义了先验知识和平滑约束;
(5)相关工作
(其他研究学者做的相关类型的工作)
2 Stixel估计算法
输入:校准后的双目立体图像
Step1:计算Cm(u,v,d)(匹配代价);
Step2:利用Cm(u,v,d)估算地平面;
Step3:利用地平面估算stixel视差(即stixel深度);
Step4:利用stixel视差估算stixel高度
输出:stixel模型
Stixels为一个像素宽度的表示方法。Stixel估计即为计算图像的每列u的。
平均每列的匹配代价作为Stixel估计可以以减少整体计算成本,但同时也会减少stixels的空间分辨率。在本文中,不探索这个空间分辨率对速度的影响。
2.1 计算cost volume
给出双目立体图像,计算出与之匹配的costvolume:左视图中的每个像素和每个视差 值,都可以计算出在RGB颜色通道的绝对差之和的cost值。
Kubota.et al假设图像包含强大的方向梯度,用基于匹配的方向提高鲁棒性。这样的话, 如果排除了处理带有点而不是行的纹理,就太限制了。
A pixel-wisecost volume(视差代价空间)记为Cm(u,v,d)
2.2 地面估计
不计算深度的v视差算法:沿水平方向u,将相同的视差值进行累计,将原来的v视差图重新构建成新的v视差图。
映射关系f ground :V → D 得到地面的视差dground
2.3 Stixel视差计算
沿水平方向u映射可以估算出地面,而沿垂直方向v映射则可以估算出Stixel深度。
Stixel视差(也就是Stixel深度)计算方法为在数据项 cs和平滑项ss的基础上进行二维动态规划,目的是为了寻找最佳Stixel视差(Stixel视差):
其中ua和ub相邻,即;使得最小的d为最佳Stixel视差
cs(u,d) = co (u,d) + cg (u,d) ;
,
co(u,d) 和cg(u,d) 分别表示对象和地面的代价;
由映射关系fground : V → D反映射得到:v(d) = f−1ground(d) →(u,d)=(u,v(d));
给定一个点的高度v(h,d),通过相机标定、地面估计 → 估计点的位置;
假定一个最小对象的高度为h0
因为双目视差的缘故,有些存在立体图像中的对象在左图中不可见,而在右图中可见(反过来也是一样),因此当我们分析左图时,被遮挡的 对象的stixel就会无效,因此采用平滑项来解决这一问题;
(3)动态规划
、映射关系v(d)= f−1ground (d) → stixel底部()
2.4 Stixel高度估计
Badinoetal是由输入深度图中pixel-wise视差和stixel视差之间的距离得出m(u,v)。 本文使用类似的方法,仅由stixel 视差得出m(u,v);
m(u,v)是判断stixel上的每个像素是否隶属同一个对象的隶属函数,当m(u,v)=1时,表示隶属对象,当m(u,v)=—1时,表示隶属背景,当m(u,v)=0时,表示没有结果;
;
;
;
其中:表示的邻域像素,例如周围的某10个像素;表示 领域像素的个数;∆ max 为常数,定义的一个最小差距值,文中∆max= 10; 表示5*5的均值滤波器;
(2)数据项 c h(u,v)
m(u,v)→ c h (u,v);
其中:表示设定对象的最大高度所在的行数;
(3)平滑项 sh (u,v)
其中:k1为比例函数;ua和ub相邻,;为领域stixels视差的相互影响距离;
(4)动态规划
同理,使得为极大值得v为;
在后期处理中,如果估计的stixel高度远高于我们预期的高度,则认为这个stixel高度估计是错误的。
3 结果
3.1 评估数据集
理想的状态:计算出的stixel均被带注释的方格(检测方格)紧紧的包围住;
使用的数据集为Ess的,在每个左帧序列图中提供了7400多个40像素高度的方格,同时提供了内部的相机校准、立体视觉平台校准和地面的大致估计,每幅图片大小为640*480pixel。
3.2 Stixel估计误差
为了定量描述误差,测量在每个方格中stixel顶部和底部之间的误差(被挡住对象的stixel估计同样如此);
有两个需要回答的问题:1)是否估算的行人高度比假设的行人高度要准确?
2)本文采用的方法是否比利用深度图估算的方法要好?
3.3 行人检测率
3.4 错误案例
3.5 计算费用
(1) 对比利用深度图的stixel估计
Step1和step5减少了10%;step4减少了15%;
(2) 减少搜索检测空间
4 结论与展望
疑问记录
1)公式计算的具体含义 (已解决)
2)Stixels高度估计平滑项的目的 (已解决)
3)如何确定地面的映射 (已解决)
4)双目视图模型、视差、匹配代价Cm(u,v,d)如何计算 (已解决)
————————————————————写在最后————————————————————————————
本文章为阅读笔记,不少内容仅仅为翻译结果,如有疑问或错误,欢迎联系QQ邮箱:[email protected]