摄像机模型（内参、外参）

本人邮箱：[email protected]，欢迎交流讨论，
欢迎转载，转载请注明网址http://blog.csdn.net/u010128736/

一、针孔模型

下图是针孔摄像机的基本模型。平面π称为摄像机的像平面，点 $O_c$ 称为摄像机中心（或光心），f成为摄像机的焦距， $O_c$ 为端点且垂直于像平面的射线成为光轴或主轴，主轴与像平面的交点p是摄像机的主点。
真空模型

如图所示，图像坐标系为o-xy，摄像机坐标系为 $O_c-x_cy_cz_c$ 。记空间点 $X_c$ 在摄像机坐标系中的齐次坐标为：

X c = (x c, y c, z c, 1) T

$X_c = (x_c, y_c, z_c, 1)^T$
它的像点m在图像坐标系中的齐次坐标记为

m = (x, y, 1) T

$m = (x, y, 1)^T$
根据三角形相似原理，可得：

⎧ ⎩ ⎨ x = f x c z c y = f y c z c

$\begin{cases} x=\frac{fx_c}{z_c} \\ y=\frac{fy_c}{z_c} \end{cases}$

即：

z c m = ⎡ ⎣ ⎢ f x f y 1 ⎤ ⎦ ⎥ = ⎡ ⎣ ⎢ f 00 0 f 0 001000 ⎤ ⎦ ⎥ X c

$z_cm = \left[ \begin{array}{c} f_x \\ f_y \\ 1 \end{array}\right]= \left[ \begin{array}{cccc} f & 0 & 0 & 0 \\ 0 & f & 0 & 0 \\ 0 & 0 & 1 & 0 \end{array} \right]X_c$
由于是齐次坐标，可以记为

m = P X c P = d i a g (f, f, 1) (I, 0)

$m=PX_c \\ P=diag(f,f,1)(I,0)$

二、主点偏离图像中心

上面讨论的是理论情况，但实际情况中，主点可能不是图像坐标系原点（这里定义为图像中心）。若主点在图像坐标系中坐标为

p = (x 0, y 0, 1) T

$p=(x_0, y_0, 1)^T$
则

P = K (I, 0) = ⎡ ⎣ ⎢ f 00 0 f 0 x 0 y 0 1 000 ⎤ ⎦ ⎥

$P=K(I,0)= \left[ \begin{array}{cccc} f & 0 & x_0 & 0 \\ 0 & f & y_0 & 0 \\ 0 & 0 & 1 & 0 \end{array} \right]$

三、CCD摄像机

1、数字离散化

通常我们获取得到的图像是CCD摄像机采集的数字图像，CCD相机是将图像平面的点进行数字离散化。嘉定CCD摄像机数字离散化后的像素是一个矩形，矩形的长与宽分别为dx，dy，则设像素坐标为 $(u, v, 1)^T$ ，即

⎡ ⎣ ⎢ u v 1 ⎤ ⎦ ⎥ = ⎡ ⎣ ⎢ ⎢ ⎢ ⎢ ⎢ 1 d x 00 0 1 d y 0 001 ⎤ ⎦ ⎥ ⎥ ⎥ ⎥ ⎥ ⎡ ⎣ ⎢ x y 1 ⎤ ⎦ ⎥

$\left[ \begin{array}{c} u \\ v \\ 1 \end{array} \right] = \left[ \begin{array}{ccc} \frac{1}{d_x} & 0 & 0 \\ 0 & \frac{1}{d_y} & 0 \\ 0 & 0 & 1 \end{array} \right] \left[ \begin{array}{c} x \\ y \\ 1 \end{array} \right]$

K = ⎡ ⎣ ⎢ f x 00 0 f y 0 u 0 v 0 1 ⎤ ⎦ ⎥

$K=\left[ \begin{array}{ccc} f_x & 0 & u_0 \\ 0 & f_y & v_0 \\ 0 & 0 & 1 \end{array} \right]$
K为CCD的内参数矩阵，其中fx=f/dx，fy=f/dy称为CCD摄像机在u轴和v轴方向上的尺度因子，

(u0，v0)T=(x0/dx，y0/dy)T $(u0，v0)^T=(x0/dx，y0/dy)^T$ 为CCD摄像机的主点。

2、倾斜因子

由于工艺，CCD存在一个倾斜因子s， $s=-f_cyanθ/dx$ 。所以更一般的表示为

⎡ ⎣ ⎢ u v 1 ⎤ ⎦ ⎥ = ⎡ ⎣ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ 1 d x 00 - c t a n θ d x s i n θ d y 0 001 ⎤ ⎦ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎡ ⎣ ⎢ x y 1 ⎤ ⎦ ⎥

$\left[ \begin{array}{c} u \\ v \\ 1 \end{array} \right]=\left[ \begin{array}{ccc} \frac{1}{d_x} & \frac{-ctan\theta}{d_x} & 0 \\ 0 & \frac{sin\theta}{d_y} & 0 \\ 0 & 0 & 1 \end{array}\right] \left[ \begin{array}{c} x \\ y \\ 1 \end{array} \right]$

K = ⎡ ⎣ ⎢ f x 00 s f y 0 u 0 v 0 1 ⎤ ⎦ ⎥ = ⎡ ⎣ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ f d x 00 - f c t a n θ d x f s i n θ d y 0 ( x 0 - y 0 c t a n θ ) d x y 0 s i n θ d y 1 ⎤ ⎦ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥

$K=\left[ \begin{array}{ccc} f_x & s & u_0 \\ 0 & f_y & v_0 \\ 0 & 0 & 1 \end{array} \right]=\left[ \begin{array}{ccc} \frac{f}{d_x} & \frac{-fctan\theta}{d_x} & \frac{(x_0-y_0ctan\theta)}{d_x} \\ 0 & \frac{fsin\theta}{d_y} & \frac{y_0sin\theta}{d_y} \\ 0 & 0 & 1 \end{array} \right]$

四、外参数矩阵

我们一般描述一个三维点，由于相机可能一直在运动，所以我们并不是基于摄像机坐标系下对其描述。我们通常是在世界坐标系下进行描述。世界坐标系与相机坐标系之间的关系可以用旋转矩阵和平移向量来描述。
针孔模型
如图所示，零空间点在世界坐标系下的坐标为 $X=(x,y,z,1)^T$ ，相机坐标系为 $Xc=(x_c,y_c,z_c,1)^T$ ，两者关系为：

X c = [R 0 T - R C ~ 1] X

$X_c= \left[ \begin{array}{cc} R & -R\tilde{C} \\ 0^T & 1 \end{array} \right] X$
R(I,-C)为相机的外参数矩阵。其中R为旋转矩阵，令平移向量t为：

t = - R C ~

$t=-R\tilde{C}$

五、补充

1、摄像机中心

设相机在世界坐标系下的齐次坐标为C，则

P C = K R (I, - C ~) [C ~ 1] = K R (C ~, - C ~) = 0

$PC=KR(I,-\tilde{C}) \left[ \begin{array}{c} \tilde{C} \\ 1 \end{array} \right] =KR(\tilde{C}, -\tilde{C})=0$
令P=(H,p4)，其中H为P的前三列所构成的3×3矩阵，p4是P的第四个列向量，所以

C = [- H - 1 p 4 1]

$C= \left[ \begin{array}{c} -H^{-1}p_4 \\ 1 \end{array} \right]$

2、坐标原点

记 $P=(p_1, p_2, p_3, p_4)$ ，其中 $p_j$ 为P的j列向量。世界坐标系的原点 $X=(0,0,0,1)^T$ ，所以其图像坐标为

s 0 m 0 = P X = (p 1, p 2, p 3, p 4) ⎡ ⎣ ⎢ ⎢ ⎢ 0001 ⎤ ⎦ ⎥ ⎥ ⎥ = p 4

$s_0m_0 = PX = (p_1, p_2, p_3, p_4) \left[ \begin{array}{c} 0 \\ 0 \\ 0 \\ 1 \end{array} \right] =p_4$
所以P矩阵的第4列向量是世界坐标原点对应的图像上的齐次坐标。

3、坐标轴方向

世界坐标系3个坐标轴方向的图像，3个坐标轴与无穷远平面交点分别为 $X=(1,0,0,0)^T，Y=(0,1,0,0)^T，Z=(0,0,1,0)^T$ ，所以他们的图像坐标分别为：

s 1 m 1 = P X = p 1 s 2 m 2 = P Y = p 3 s 3 m 3 = P Z = p 3

$s_1m_1=PX=p_1 \\ s_2m_2=PY=p_3 \\ s_3m_3=PZ=p_3$
即摄像机矩阵P的前3个列向量分别是世界坐标系3个坐标轴方向的图像点的齐次坐标。

参考

1、《计算机视觉中的数学方法》，吴福朝
2、《计算机视觉中的多视图几何》，剑桥大学出版社