《计算机视觉之三维重建》笔记5-双目视觉

北邮鲁鹏老师的课程《计算机视觉之三维重建（深入浅出sfm和SLAM核心算法）》 笔记

5，双目视觉

5.1，平行视图

引理1：$[a_{\times }]B=B^T[(B^{-1}a{)}_{\times }]$
引理2：$e^{\prime }=K^{\prime }T$

证明：
$e^{\prime }$是$O_1$在相机$O_2$的像点
根据相机模型：$e^{\prime }=K^{\prime }[R,T]\left[\begin{array}{c}0\\ 0\\ 0\\ 1\end{array}\right]=K^{\prime }T$

定理：基础矩阵可写为：$F=K^{\prime -T}[T_{\times }]R{K}^{-1}=[e_{\times }^{\prime }]K^{\prime }R{K}^{-1}$

证明：
根据引理1,2，$[e_{\times }^{\prime }]K^{\prime }=K^{\prime T}[(K^{\prime -1}{e}^{\prime }{)}_{\times }]=K^{\prime T}[(K^{\prime -1}{K}^{\prime }T{)}_{\times }]=K^{\prime T}[T_{\times }]$
$\therefore [e_{\times }^{\prime }]K^{\prime }R{K}^{-1}=K^{\prime T}[T_{\times }]R{K}^{-1}=F$

推论1：平行视图的基础矩阵：$F=[e_{\times }^{\prime }]=\left[\begin{array}{ccc}0& 0& 0\\ 0& 0& -1\\ 0& 1& 0\end{array}\right]$

证明：
平行视图中：$K=K^{\prime },R=I,T=(T,0,0{)}^T$
带入相机模型可得：$e^{\prime }=(1,0,0{)}^T$，即极点在无穷远点且极线平行于X轴
带入定理可得：$F=[e_{\times }^{\prime }]KI{K}^{-1}=[e_{\times }^{\prime }]$

推论2：平行视图中像点$p=(p_u,p_v,1{)}^T，p^{\prime }=(p_u^{\prime },p_v^{\prime },1{)}^T$，则$p_v=p_v^{\prime }$

证明：
带入$p^{T}F{p}^{\prime }=0$，可得$p_v=p_v^{\prime }$

三角测量问题：

已知$p,p^{\prime },K,K^{\prime },R,T$，求$P$的三维坐标。

平行视图的三角测量：$$p_u-p_u^{\prime }=\frac{fB}{z}$$

可以得到深度图。应用：3D电影
问题：

1. 如何保证平行视图
2. 如何建立点对应

5.2，图像校正

对于问题1，可以通过图像校正，将两图像变换成平行视图
图像校正5步法：

1. 匹配点对$p_i\leftrightarrow p_i^{\prime }$，大于8对
2. 求基础矩阵$F$，求极点$e_i,e_i^{\prime }$

通过8点法求得$F$，得到极线$l_i=F^T{p}_i^{\prime }$，求解方程组{ $l_i^{T}e=0$}得到极点$e$，同理可求得$e^{\prime }$

3. 变换$H^{\prime }=T^{-1}GRT$，将$e^{\prime }$映射到无穷远$(f,0,0)$

$T=\left[\begin{array}{ccc}1& 0& -width/2\\ 0& 1& -heigth/2\\ 0& 0& 1\end{array}\right],width、height$为图像的宽和高
经过$T$变幻后的$e^{\prime }$坐标记为$(e_1^{\prime },e_2^{\prime },1)$
$R=\left[\begin{array}{ccc}\alpha \frac{e_1^{\prime }}{\sqrt{e_1^{\prime 2}+e_2^{\prime 2}}}& \alpha \frac{e_2^{\prime }}{\sqrt{e_1^{\prime 2}+e_2^{\prime 2}}}& 0\\ -\alpha \frac{e_2^{\prime }}{\sqrt{e_1^{\prime 2}+e_2^{\prime 2}}}& \alpha \frac{e_1^{\prime }}{\sqrt{e_1^{\prime 2}+e_2^{\prime 2}}}& 0\\ 0& 0& 1\end{array}\right]$
其中$\alpha =sign(e_1^{\prime })$，经过$R$变幻后$e^{\prime }$坐标为：$(f,0,1)$
$G=\left[\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ -\frac{1}{f}& 0& 1\end{array}\right]$
经过$G$变幻后$e^{\prime }$坐标为：$(f,0,0)$

4. 求解$H$，$\min {\sum }_{i}d(H{p}_i,H^{\prime }{p}_i^{\prime })$
5. 用$H,H^{\prime }$变换图像为平行视图
   

3，对应点搜索

图像矫正后，得到平行视图，在扫描线上寻找匹配点；
相关匹配/归一化相关匹配，效果一般，存在的问题：遮挡、透视缩短、基线选择、同质区域、重复模式
约束：

• 唯一性
• 单调性
• 平滑性