计算机视觉系列教程：图文详解双目视觉系统与立体校正原理

1 理想双目视觉系统

图1

如图1所示为理想双目视觉系统：两像机成像面共面行对齐，极点处于无限远处——像点$\left(x_0,y_0\right)$对应的极线为$y=y_0$。

关于极点、极线方面的内容可以参考之前的博客：计算机视觉系列教程14：对极几何基本原理图解

取定左相机坐标系为标准系，由相似关系，物点在左成像面的坐标为
$$\left[\begin{array}{c}{}^{L}x\\ {}^{L}y\end{array}\right]=\left[\begin{array}{c}f\frac{X}{Z}\\ f\frac{Y}{Z}\end{array}\right]$$

设双目系统的间距为$b_x$，则双目系统相机位姿关系为
$${}_L^R\mathbf{T}=\left[\begin{array}{cccc}1& & & -b_x\\ & 1& & 0\\ & & 1& 0\\ & & & 1\end{array}\right]$$

因此物点在右相机坐标系下为${}^R\mathbf{X}{=}_L^R\mathbf{T}{}^L\mathbf{X}={\left[\begin{array}{ccc}X-b_x& Y& Z\end{array}\right]}^T$，同样由相似原理得
$$\left[\begin{array}{c}{}^{R}x\\ {}^{R}y\end{array}\right]=\left[\begin{array}{c}f\frac{X-b_x}{Z}\\ f\frac{Y}{Z}\end{array}\right]$$

由于行对齐，因此同一物点在两成像面上形成立体视差
$$d{=}^{L}x{-}^{R}x=f\frac{b_x}{Z}$$

所谓立体视差就是同一个物点在两个相机成像面上相点之差。

从而可以从成像面坐标还原三维坐标，并转换为像素尺度:
$$\left[\begin{array}{c}X\\ Y\\ Z\end{array}\right]=\left[\begin{array}{c}{}^{L}x\frac{b_x}{d}\\ {}^{L}y\frac{b_x}{d}\\ f\frac{b_x}{d}\end{array}\right]=\left[\begin{array}{c}\left({}^{L}u{-}^L{c}_u\right)\frac{b_x}{d_u}\\ \left({}^{L}v{-}^L{c}_v\right)\frac{b_x}{d_u}\\ f_u\frac{b_x}{d_u}\end{array}\right]$$

其中$Z$即为图像深度信息。将上述方程改写为线性形式:
$$\left[\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right]=\left[\begin{array}{cccc}1& 0& 0& {-}^L{c}_u\\ 0& 1& 0& {-}^L{c}_v\\ 0& 0& 0& f_u\\ 0& 0& \frac{1}{b_x}& \frac{{}^R{c}_u{-}^L{c}_u}{b_x}\end{array}\right]\left[\begin{array}{c}{}^{L}u\\ {}^{L}v\\ d_u\\ 1\end{array}\right]\iff {}^L\mathbf{X}={\mathbf{Q}}^L\mathbf{u}$$

其中$Q$称为重投影矩阵，$\frac{{}^R{c}_u{-}^L{c}_u}{b_x}$表征了两成像平面中心的像素偏差。

2 立体校正

实际应用时并不能直接使用上面的模型，因为没有任何硬件可以真正达到理想双目系统的条件，如图2所示。

图2 实际双目系统

将实际双目系统变换为理想双目系统的过程称为立体校正，下面详细阐述Bouguet立体校正算法，其核心原理是通过像素平面透视变换，使左右图像重投影误差最小，使双目系统最接近理想状态。

定义左右两相机间的变换关系为
$${}_{\mathbf{L}}^{\mathbf{R}}\mathbf{T}=\left[\begin{array}{cc}\mathbf{R}& \mathbf{t}\\ 0& 1\end{array}\right]$$

通过旋转矩阵$R$先将右相机坐标系旋转到与左相机坐标系平行，如图3所示。

图3

此时双目系统平行但不共面，需要构造一个校准矩阵$R_{rect}$将两相机坐标系旋转到同一成像面上，实现共面行对齐校正，如图4所示。

图4 两相机坐标系共同旋转至共面行对齐

设${\mathbf{R}}_{rect}={\left[\begin{array}{ccc}{\mathbf{r}}_1^T& {\mathbf{r}}_2^T& {\mathbf{r}}_3^T\end{array}\right]}^T$，其构造过程如下：

① $r_1$是旋转后坐标系的$x^{\prime }$相对于原坐标系三个轴的方向余弦，为保证旋转后两成像面共面，需要将原坐标系$x$轴旋转至基线$-t$方向，即
$${\mathbf{r}}_1=\frac{-\mathbf{t}}{\Vert \mathbf{t}\Vert }$$

② $r_2$、$r_3$事实上可以任意给出，只需满足右手系方向即可。一般地，取

$$\{\begin{array}{l}{\mathbf{r}}_2=\frac{-\mathbf{t}\times {\left[\begin{array}{ccc}0& 0& 1\end{array}\right]}^T}{\Vert -\mathbf{t}\times {\left[\begin{array}{ccc}0& 0& 1\end{array}\right]}^T\Vert }\\ {\mathbf{r}}_3={\mathbf{r}}_1\times {\mathbf{r}}_2\end{array}$$

使$y^{\prime }$垂直于原光轴方向。

综合上述步骤得到
$$\{\begin{array}{l}{\mathbf{R}}_L={\mathbf{R}}_{rect}\\ {\mathbf{R}}_R={\mathbf{R}}_{rect}{\mathbf{R}}^T\end{array}$$

接下来进行像素平面的映射。在不考虑畸变的条件下，相机坐标系未旋转时有$\mathbf{u}=\mathbf{K}\mathbf{x}$，旋转后则为${\mathbf{u}}^{\prime }={\mathbf{K}\mathbf{x}}^{\prime }=\mathbf{K}\mathbf{R}\mathbf{x}$，因此旋转前后像素坐标的关系为
$${\mathbf{u}}^{\prime }={\mathbf{K}\mathbf{R}\mathbf{K}}^{-1}\mathbf{u}=\mathbf{H}\mathbf{u}$$

像素立体校正后，即可使用理想双目系统模型进行场景几何的估计。

总结Bouguet立体校正算法流程：

(1) 基于相机几何信息$R$、$t$ 构造$R_L$、$R_R$；
(2) 基于旋转前后像素坐标关系得到单应性矩阵${\mathbf{H}}_L={\mathbf{K}\mathbf{R}}_L{\mathbf{K}}^{-1}$、${\mathbf{H}}_R={\mathbf{K}\mathbf{R}}_R{\mathbf{K}}^{-1}$；
(3) 归一化齐次坐标。映射后${\mathbf{u}}^{\prime }=\left[\begin{array}{ccc}u& v& w\end{array}\right]$，需归一化为${\mathbf{u}}^{\prime }=\left[\begin{array}{ccc}u/w& v/w& 1\end{array}\right]$。

关于单应性矩阵方面的知识可以参考计算机视觉系列教程12：单应性矩阵估计

3 实例