openMVG：正射投影影像的影像匹配

主要内容

本文是阅读论文[1]的一些笔记。

中心投影是目前最为常见的一种成像模式，然而也存在另外一种成像模式正射投影。正射投影并不是一种很常见的投影方式，但是研究正射投影依然非常有价值。在当中心投影拍摄过程中，如果焦距较大或拍摄目标都处于同一个平面，可以将其近似等同于正射投影（此处就不证明了，大概意思就是当Z值近似为0时就可以认为其实正射投影）。

成像模型

首先给出正射投影的成像关系：

$$\left\{\begin{matrix} sx=X\\ sy=Y \end{matrix}\right.$$
用P矩阵标定可以得到如下关系，假设外参数为 $R$、 $t$。
$$\begin{bmatrix} x\\ y\\ s \end{bmatrix}=\begin{bmatrix} r_{11} &r_{12} &r_{13} &t_{1} \\ r_{21} &r_{22} &r_{23} &t_{2} \\ 0 &0 &0 &1 \end{bmatrix}\begin{bmatrix} X\\ Y\\ Z\\ 1 \end{bmatrix}$$
可以发现正射投影的影像与中心投影的差别较大，下图是Wiki上的一个示意图：

本质矩阵

中心投影影像具有自己的核线成像关系，正射投影影像也具有核线成像关系。下边对其进行推导。
首先假设$I_1$的外方位元素（$R_1=I,t_1=0$），$I_2$的外方位元素为（$R_2=R,t_2=t$）。$(X,Y,Z)$为物方一点，$(x_1,y_1)$和$(x_2,y_2)$分别为对应两张照片上的像点。
则有以下关系：

$$s_1\begin{bmatrix} x_1\\ y_1 \end{bmatrix}=\begin{bmatrix} X\\ Y \end{bmatrix}$$

$$s_2\begin{bmatrix} x_2\\ y_2 \end{bmatrix}=\begin{bmatrix} r_{11} &r_{12}\\ r_{21} &r_{22} \end{bmatrix}\begin{bmatrix} X\\ Y \end{bmatrix} + \begin{bmatrix} r_{13}\\ r_{23} \end{bmatrix}Z + \begin{bmatrix} t_1\\ t_2 \end{bmatrix}$$

两式整合可以得到：

$$\begin{bmatrix} sx\\ sy \end{bmatrix}=\begin{bmatrix} r_{11} &r_{12}\\ r_{21} &r_{22} \end{bmatrix}s_1\begin{bmatrix} x_1\\ y_1 \end{bmatrix} + \begin{bmatrix} r_{13}\\ r_{23} \end{bmatrix}Z + \begin{bmatrix} t_1\\ t_2 \end{bmatrix}$$
为消去 $Z$的影像，两边同点乘 $\begin{bmatrix}r_{23} & -r_{13}\end{bmatrix}$，得到如下公式：
$$x^{'}r_{23} -y^{'}r_{13}=x(r_{23}r_{11}-r_{11}r_{21})+y(r_{23}r_{12}-r_{13}r_{23})+r_{23}t_1-r_{13}t_2$$
又由于( $r_3=r_1\times r_2$)：
$$\left\{\begin{matrix} r_{31}=r_{12}r_{23}-r_{22}r_{13}\\ r_{32}=r_{21}r_{13}-r_{11}r_{23} \end{matrix}\right.$$
故上式变成（考虑到 $s_1$ $s_2$不会对后续推导产生影响，后边直接舍去两个变量）：
$$x^{'}r_{23} -y^{'}r_{13}+xr_{32}-yr_{31}=r_{23}t_1-r_{13}t_2$$
该公式又可进一步整理成矩阵形式

因此可以得到新的本质矩阵 $E$:
$$E=\begin{bmatrix} 0 & 0 & a\\ 0 & 0 & b\\ c & d & e \end{bmatrix}= \begin{bmatrix} 0 & & r_{32}\\ 0 & & -r_{31} \\ r_{23} & -r_{13} & r_{13}t_2-r_{23}t_1 \end{bmatrix}$$
并且易得到 $E$的一个约束:
$$a^2+b^2=c^2+d^2$$
同时考虑到对 $E$乘以一个系数 $\lambda$并不会破坏上述的等式关系，因此我们可以选择合适的系数，使得：
$$a^2+b^2=c^2+d^2=1$$

影像匹配

影像匹配的主要目的是将两幅图像上的同名点进行匹配，通常而言都分为特征点匹配和几何误差滤除两步。特征点匹配主要是根据特征点的描述子之间的距离来选择距离最近的匹配点；当然第一步中通常都会存在大量的误匹配，因此需要根据一些几何约束对齐进行错误匹配的剔除，其中最常用的方法之一就是本质矩阵。参考第二节的描述，本质矩阵的主要内容就是核线关系。
在正摄投影影像中，由于$E$只具有3个自由度，因此理论上只需要3个点即可求解出本质矩阵。接下来我们主要讨论如何使用3个点来求解出本质矩阵。
首先记匹配点误差为：

$$D=e + ax + by + cx^{'} + dy^{'}$$
则针对3个点可以列出三个方程：
$$\begin{matrix} D_1=e + ax_1 + by_1 + cx^{'}_1 + dy^{'}_1\\ D_2=e + ax_2 + by_2 + cx^{'}_2 + dy^{'}_2\\ D_3=e + ax_3 + by_3 + cx^{'}_3 + dy^{'}_3 \end{matrix}$$
为计算方便，首先消掉 $e$，即：
$$\begin{matrix} B_1=D_2-D_1=ax_{21}+by_{21}+cx^{'}_{21}+dy^{'}_{21}\\ B_2=D_3-D_1=ax_{31}+by_{31}+cx^{'}_{31}+dy^{'}_{31} \end{matrix}$$
那么此时意味着，我们可以使用 $c$、 $d$表示 $a$、 $b$，为简化公式，可以表达成：
$$\begin{matrix} a = k_1c+k_2d+k_3\\ b = p_1c+p_2d+p_3 \end{matrix}$$
将上述式子带入 $a^2+b^2=1$，可以得到一个关于 $c$、 $d$的表达式，同时使用 $c^2+d^2=1$将其中的 $c$的2次项消除，可以得到：
$$g_1cd+g_2d^2+g_3=0$$
将上式两边同乘 $c$，然后再用 $c^2+d^2=1$将其中的 $c$的2次项消除，又可以得到：
$$h_1c+h_2cd+h_3cd^2+h_4d^3=0$$
将上述式子整理一下，又可以得到：
$$B\begin{bmatrix} c\\ 1 \end{bmatrix}=\begin{bmatrix} g_1d & g_2d^2+g_3 \\ h_1 + h_2d + h_3d^2 & h_4d^3 \end{bmatrix}\begin{bmatrix} c\\ 1 \end{bmatrix}=\begin{bmatrix} 0\\ 0 \end{bmatrix}$$
由于上述方程一定有解，因此 $det(B)=0$，那么我们就得到了一个关于 $d$的一元四次方程，根据公式可以求出d的解，从而解算出 $E$。

现在我们已经清楚如何用三个点解算$E$，那么接下来只需要参考Ransac的思路即可对匹配点进一步进行处理，得到没有匹配误差的点。

参考论文

[1] Two-View Orthographic Epipolar Geometry: Minimal and
Optimal Solvers
[2] Motion Estimation under Orthographic Projection