《计算机视觉之三维重建》笔记4-三维重建基础

北邮鲁鹏老师的课程《计算机视觉之三维重建（深入浅出sfm和SLAM核心算法）》 笔记

4，三维重建基础

4.1，点重建问题

• P1：已知：$p,p^{\prime },K,R,T$，求$P$
• P2：已知：$p,p^{\prime },K$，求$P,R,T$
• P3：已知：$p,p^{\prime }$，求$P,K,R,T$
  

P1求解，三角化：
方法1：求解线性方程组
$$\{\begin{array}{l}p=K[I,0]P\\ p^{\prime }=K[R,T]P\end{array}$$

方法2：求解优化问题
$$P^{\ast }=\underset{P}{\mathrm{argmin}}d(p,MP)+d(p^{\prime },M^{\prime }P)$$

4.2，多视几何关键问题

• 摄像机几何：从一或多张图像中求解摄像机内外参数K,R,T
• 场景几何：通过两至多幅图像中求解场景坐标P
• 对应关系：已知一幅图像中p点，求另外一张图像中的对应点p’

4.3，极几何

极几何描述两个视图的几何关系

定义

• 极平面：过$P,O_1,O_2$的平面
• 基线：直线$O_1{O}_2$
• 极线：极平面与像平面交线$l,l^{\prime }$
• 极点：基线与像平面交点$e,e^{\prime }$

性质

• 所有的极平面相交于基线
• 像平面上所有的极线相交于极点
• $p$的对应点在极线$l^{\prime }$上

特殊视图：

• 平行试图
• 前向平移

4.4，本质矩阵

先讨论规范相机情况：$K=K^{\prime }=I$，坐标系$O_2$到$O_1$的变换为$R,T$，定义本质矩阵 $E=T\times R$，有：
$$p^{\prime T}Ep=0$$

证明：
根据1.4节可知：$p^{\prime },O_2$在坐标系$O_1$的坐标分别为$R^T{p}^{\prime }-R^{T}T,-R^{T}T$
即：$\overrightarrow{O_1{p}^{\prime }}=R^T{p}^{\prime }-R^{T}T,\overrightarrow{O_1{O}_2}=-R^{T}T$
可得：$\overrightarrow{O_1{p}^{\prime }}\times \overrightarrow{O_1{O}_2}=R^{T}T\times R^T{p}^{\prime }$
由于：$\overrightarrow{O_1{p}^{\prime }}\times \overrightarrow{O_1{O}_2}\perp \overrightarrow{O_{1}p}$
得：$(R^{T}T\times R^T{p}^{\prime }{)}^{T}p=0$
$(R^{T}T\times R^T{p}^{\prime }{)}^{T}p=(R^T(T\times p^{\prime }){)}^{T}p=(R^T[T_{\times }]p^{\prime }{)}^{T}p=p^{\prime T}[T_{\times }{]}^{T}Rp=-p^{\prime }[T_{\times }]Rp=-p^{\prime T}(T\times R)p=-p^{\prime T}Ep\square$

推论：

1，$Ee=0$

证明：
$O_1,e$在$O_2$下的坐标分别为$T,Re+T$
$\overrightarrow{O_{2}e}\times \overrightarrow{O_2{O}_1}=0$
得：$T\times (Re+T)=0$
$\therefore T\times Re+T\times T=0$
$\therefore T\times Re=0$，即$Ee=0\square$

2，$e^{\prime T}E=0$

证明：
$O_2,e’$在$O_1$下的坐标分别为$-R^{T}T,R^T{e}^{\prime }-R^{T}T$
$\overrightarrow{O_1{e}^{\prime }}\times \overrightarrow{O_1{O}_2}=0$
得：$-R^{T}T\times (R^T{e}^{\prime }-R^{T}T)=0$
$\therefore R^T(T\times e^{\prime })=0$
$R^T(T\times e^{\prime })=R^T[T\times ]e^{\prime }=-R^T[T\times {]}^T{e}^{\prime }=-([T\times ]R{)}^T{e}^{\prime }$，即$E^T{e}^{\prime }=0\square$

3，极线：$l^{\prime }=Ep,l=E^T{p}^{\prime }$

证明：
根据推论1可得：$p^{\prime T}Ee=0$，又$p^{\prime T}Ep=0$
所以直线$p^{\prime T}E$过点$e$和点$p$，即极线$l$
$\therefore l=E^T{p}^{\prime }$
同理：$l^{\prime }=Ep\square$

4.5，基础矩阵

拓展到一般相机情形，定义基础矩阵$F=K^{\prime -T}[T_{\times }]R{K}^{-1}$，有
$$p^{\prime T}Fp=0$$

证明：
将一般相机的像平面映射到规范相机像平面上：$p_c=K^{-1}p,p_c^{\prime }=K^{-1}{p}^{\prime }$即可得证.

推论：

同本质矩阵一样，有：
1，$Fe=0$
2，$e^{\prime T}F=0$
3，极线：$l^{\prime }=Fp,l=F^T{p}^{\prime }$

基础矩阵估计

获得N对匹配点$<p_i(u_i,v_i),p_i^{\prime }(u_i^{\prime },v_i^{\prime })>$，带入基础矩阵公式得到关于基础矩阵的线性方程组$Wf=0$，其中$W$是关于点的信息的已知矩阵，$f$是将$F$按行排成一个列向量。

第一步

初步求解$F$的估计$\hat{F}$
解法一，8点算法：由于$F$的自由度为7，选取8个点，求解线性方程组得到$\hat{F}$
$$W\hat{f}=0$$解法二，约束优化问题：
$$\hat{f}=\underset{f}{\mathrm{argmin}}||Wf||,s.t||f||=1$$

第二步

第一步中求得的$\hat{F}$秩为3，实际$F$的秩为2，可求解优化问题：
$$F=\underset{F}{\mathrm{argmin}}\Vert F-\hat{F}{\Vert }_F,st.det(F)=0$$
对$\hat{F}$进行SVD分解：
$\hat{F}=U\left[\begin{array}{lll}{s}_1& 0& 0\\ 0& s_2& 0\\ 0& 0& s_3\end{array}\right]V^T\Rightarrow F=U\left[\begin{array}{lll}{s}_1& 0& 0\\ 0& s_2& 0\\ 0& 0& 0\end{array}\right]V^T$

归一化8点法

问题：精度较低，10+像素点误差，因为$W$矩阵中涉及像素点坐标的乘积，会比较大，导致整个计算的误差较大。
解决办法是对像素点进行归一化。

4.6，单应矩阵

场景中的点位于同一平面$\pi$，平面单位法向量为$n$，定义单应矩阵$H=K^{\prime }(R+t{n}_d^T)K^{-1}$，其中$n_d=n/d$，则有点对应关系：$$p^{\prime }=Hp$$

证明：
$\overrightarrow{O_{1}P}\cdot n=d$，令点P在$O_1$坐标系下的三维坐标为$P$
则有$n^T\cdot P=d$
相机模型：$p=KP,p^{\prime }=K^{\prime }(RP+t)$
$p^{\prime }=K^{\prime }(RP+t)=K^{\prime }(RP+t\cdot 1)=K^{\prime }(RP+t\cdot \frac{n^{T}P}{d})=K^{\prime }(RP+t\cdot n_d^T\cdot P)=K^{\prime }(R+t{n}_d^T)P=K^{\prime }(R+t{n}_d^T)K^{-1}KP=Hp\square$

单应矩阵估计

一对点对应贡献两个方程，所以只需4个对应点，就可以通过线性方程估计出单应矩阵。

基础矩阵建立点与极线的关系，单应矩阵建立点与点的关系。