《视觉SLAM十四讲》学习笔记-摄像机成像公式

针孔相机模型

设P点坐标为 $[X, Y, Z]^\top$ , $P'$ 坐标为 $[X', Y', Z']^\top$ , 根据三角形等比关系有

\frac{Z}{f} = - \frac{X}{X^{'}} = - \frac{Y}{Y^{'}}

$\frac{Z}{f} = -\frac{X}{X'}=-\frac{Y}{Y'}$

成像平面

在对称的成像平面上为：

\frac{Z}{f} = \frac{X}{X^{'}} = \frac{Y}{Y^{'}}

$\frac{Z}{f} = \frac{X}{X'}=\frac{Y}{Y'}$
所以得到：

X^{'} = f \frac{X}{Z}

$X'=f\frac{X}{Z}$ and

Y^{'} = f \frac{Y}{Z}

$Y'=f\frac{Y}{Z}$ .

摄像机内外参数矩阵

内参数矩阵

设像素平面 $P'$ 的坐标为 $[u, v]^\top$ . 注意到摄像机的坐标系为 $O-x-y-z$ , 像素坐标定义为 $o'-u-v$ , 其中 $u$ 与 $x$ 平行， $v$ 与 $y$ 平行.像素平面与成像平面相差一个缩放因子和平移因子： $u-v$ 轴上缩放 $\alpha$ 倍和放 $\beta$ 倍, 平移量为 $[c_x, c_y]^\top$ . 则：

{\begin{cases} u = α X^{'} + c_{x} \\ v = β Y^{'} + c_{y} \end{cases}

$\begin{cases} u = \alpha X' + c_x & \\ v = \beta Y' + c_y & \end{cases}$

代入上式合并 $f_x= \alpha f$ 和 $f_y = \beta f$ :

{\begin{cases} u = f_{x} \frac{X}{Z} + c_{x} \\ v = f_{y} \frac{Y}{Z} + c_{y} \end{cases}

$\begin{cases} u = f_x \frac{X}{Z} + c_x & \\ v = f_y \frac{Y}{Z} + c_y & \end{cases}$

展开成矩阵形式：

[\begin{matrix} u \\ v \\ 1 \end{matrix}] = \frac{1}{Z} [\begin{matrix} f_{x} & 0 & c_{x} \\ 0 & f_{y} & c_{y} \\ 0 & 0 & 1 \end{matrix}] [\begin{matrix} X \\ Y \\ Z \end{matrix}] \overset{△}{=} \frac{1}{Z} K \vec{P}

$\begin{bmatrix} u \\ v\\ 1 \end{bmatrix} = \frac{1}{Z} \begin{bmatrix} f_x & 0 & c_x \\ 0 & f_y & c_y \\ 0 & 0 & 1 \end{bmatrix} \begin{bmatrix} X \\ Y \\ Z \end{bmatrix} \overset{\triangle}{=} \frac{1}{Z}\mathbf{K}\vec{P}$

整理可得：

Z [\begin{matrix} u \\ v \\ 1 \end{matrix}] = [\begin{matrix} f_{x} & 0 & c_{x} \\ 0 & f_{y} & c_{y} \\ 0 & 0 & 1 \end{matrix}] [\begin{matrix} X \\ Y \\ Z \end{matrix}] \overset{△}{=} K \vec{P}

$Z \begin{bmatrix} u \\ v \\ 1 \end{bmatrix}= \begin{bmatrix} f_x & 0 & c_x \\ 0 & f_y & c_y \\ 0 & 0 & 1 \end{bmatrix} \begin{bmatrix} X \\ Y \\ Z \end{bmatrix} \overset{\triangle}{=} \mathbf{K}\vec{P}$

这里 $K$ 称为摄像机的内参数矩阵.

外参数矩阵

下面推导外参数矩阵。P点的坐标是由世界坐标 $P_w$ 根据当前位姿变换到相机坐标下的结果，位姿由旋转矩阵 $\mathbf{R}$ 和平移量 $\vec{t}$ 来描述：

Z P_{u v} = Z [\begin{matrix} u \\ v \\ 1 \end{matrix}] = K (R P_{w} + \vec{t}) = K T P_{w}

$Z\mathbf{P}_{uv} = Z\begin{bmatrix} u \\ v \\1 \end{bmatrix} = \mathbf{K}(\mathbf{R}\mathbf{P}_w + \vec{t}) = \mathbf{K} \mathbf{T} \mathbf{P}_w$
相机的位姿

R, \vec{t}

$\mathbf{R}, \vec{t}$ 称为 相机的外参数.

畸变

径向畸变

径向畸变：由透镜形状引起的畸变称之为径向畸变。主要包括，桶形畸变和枕形畸变。
$[x, y]$ 是未纠正的点坐标， $[x_{corrected}, y_{corrected}]$ 是纠正后的点坐标，皆为归一化平面上的点。校正公式为

{\begin{cases} x_{c o r r e c t e d} = x (1 + k_{1} r^{2} + k_{2} r^{4} + k_{3} r^{6}) \\ y_{c o r r e c t e d} = y (1 + k_{1} r^{2} + k_{2} r^{4} + k_{3} r^{6}) \end{cases}

$\begin{cases} x_{corrected} = x( 1 + k_1r^2 + k_2r^4 + k_3r^6 )\\ y_{corrected} = y( 1 + k_1r^2 + k_2r^4 + k_3r^6 ) \end{cases}$

切向畸变

切向畸变：在相机的组装过程中由于不能使得透镜和成像面严格平行也会引入切向畸变。
可用两个参数 $p_1, p_2$ 来校正：

{\begin{cases} x_{c o r r e c t e d} = x + 2 p_{1} x y + p_{2} (r^{2} + 2 x^{2}) \\ y_{c o r r e c t e d} = y + 2 p_{2} x y + p_{1} (r^{2} + 2 y^{2}) \end{cases}

$\begin{cases} x_{corrected} = x + 2p_1xy + p_2 (r^2 + 2x^2 )\\ y_{corrected} = y + 2p_2xy + p_1 (r^2 + 2y^2) \end{cases}$

所以，对于相机坐标系的点 $P(X, Y, Z)$ , 可通过五个畸变系数找到其正确位置。
1) 首先将空间点投影到归一化平面上，归一化坐标为 $[x, y]^\top$ ;
2) 归一化的点进行径向畸变和切向畸变：

{\begin{cases} x_{c o r r e c t e d} = x (1 + k_{1} r^{2} + k_{2} r^{4} + k_{3} r^{6}) + 2 p_{1} x y + p_{2} (r^{2} + 2 x^{2}) \\ y_{c o r r e c t e d} = y (1 + k_{1} r^{2} + k_{2} r^{4} + k_{3} r^{6}) + 2 p_{2} x y + p_{1} (r^{2} + 2 y^{2}) \end{cases}

$\begin{cases} x_{corrected} = x( 1 + k_1r^2 + k_2r^4 + k_3r^6 ) + 2p_1xy + p_2 (r^2 + 2x^2 ) \\ y_{corrected} = y( 1 + k_1r^2 + k_2r^4 + k_3r^6 ) + 2p_2xy + p_1 (r^2 + 2y^2) \end{cases}$
3) 将纠正后的点通过内参数投影到像素平面，得到点的正确坐标：

{\begin{cases} u = f_{x} x_{c o r r e c t e d} + c_{x} \\ v = f_{y} y_{c o r r e c t e d} + c_{y} \end{cases}

$\begin{cases} u = f_xx_{corrected} + c_x \\ v = f_yy_{corrected} + c_y \end{cases}$

注意这里一共有四种坐标：世界坐标 $O-X-Y-Z$ 、相机坐标 $O-x-y-z$ 、归一化相机坐标 $O-x-y-z$ ( $z=1$ ), 和图像像素坐标 $O-u-v$ .

双目相机

双目相机模型

空间点 $P$ 在左眼和右眼的点为 $P_L and P_R$ , 理想情况下只在u-轴上有位移，左侧位置记为 $u_L$ , 右侧位置 $u_R$ .根据三角形相似关系有：

\frac{z - f}{z} = \frac{b - u_{L} + u_{R}}{b}

$\frac{z-f}{z} = \frac{b-u_L + u_R}{b}$
整理得：

z = \frac{f b}{d}, d = u_{L} - u_{R}

$z=\frac{fb}{d}, ~d=u_L-u_R$
其中，

d

$d$ 表示视差(disparity),

d

$d$ 很难计算。

RGB-D相机模型

RGB-D模型

1) 红外结构光(structed light):发射一束光线，根据返回的结构光图案计算距离。
2) Time-of-flight, ToF: 发射脉冲，根据发送到返回之间的光束飞行时间确定自身距离。
弊端：易受日光或其他发射红外光装置的干扰，不能在室外和多个装置一起工作。不能测量透射材质的物体。