Multiple View Geometry(多视图几何)学习笔记（19）—摄像机模型之射影摄像机

            摄像机模型之射影摄像机

1.摄像机构造

  一般射影摄像机可以按$P=[M|p_4]$其中$M$是3X3 矩阵,如果$M$
是非奇异的，那么它是有限摄像机;反之则不然。

摄像机中心

  摄像机中心$C$是$P$的一维右零空间，即$PC=0$

• 有限摄像机(M 非奇异)

  $$C=\begin{pmatrix} -M^{-1}p_4\\ 1 \end{pmatrix}$$

• 无穷远摄像机(M 奇异)

  $$C=\begin{pmatrix} \mathbf{d}\\ 1 \end{pmatrix}$$

  其中，$\mathbf{d}$是$M$的3 维矢量， 即$M\mathbf{d}=0$

列点

  对于$i= 1,...,3$列矢量$p_i$分别对应于$X ， Y ， Z$轴在图像上的消影点。列$p_4$是坐标原点的图像。

主平面

  摄像机的主平面是$P$的最后一行$P^3$。

轴平面

  平面$P^1$和$P^2$($P$的第一和第二行)表示空间中过摄像机中心的平面，分别对应于映射到图像上直线$x= 0$和$y = 0$的点。

主点

  图像点$x_0 = Mm^3$是摄像机的主点，其中$m^{3T}$是$M$的第三行。

主射线

  摄像机的主射线(主轴)是过摄像机中心$C$而方向矢量为$m^{3T}$的射线。主轴矢量$v = det(M) m^3$指向摄像机的前方。

2.射影摄像机对点的作用

正向投影

  在无穷远平面上的点$D=(d^T,0)^T$表示消影点。.这些点映射到：

$$x=PD=[M|p_4]D=Md$$

点到射线的反向投影

  给定图像中的一个点$x$我们来确定是空间的哪些点被映射到该点。
这些点将组成过摄像机中心的一条空间射线。

$$X(\lambda )=P^+x+\lambda C$$

  其中$P^+$是$P$的伪逆。$P^+=P^T(PP^T)^{-1}$并且$PP^+=I$。
  一个图像点$x$反向投影的射线交无穷远平面于点$D=((M^{-1}x)^T,0)^T$。将射线写成其与摄像机中心的两点的连接：

$$X(\mu )=\mu \begin{pmatrix} M^{-1}x\\ 0 \end{pmatrix}+\begin{pmatrix} -M^{-1}p_4\\ 1 \end{pmatrix}=\begin{pmatrix} M^{-1}(\mu x-p_4)\\ 1 \end{pmatrix}$$

点的深度

结论1  令$\mathbf{X }= (X , Y ,Z,T)^T$是一个$3D$点而$P = [M | p_4]$是一个有限摄像机的摄像机矩阵， 假定$P(X, Y , Z , T)^T=W( x,y,1) ^T$那么:

$$depth(\mathbf{X};P)=\frac{sign(detM)w}{T\left \| m^3 \right \|}$$
是在摄像机主平面前方的点 $X$的深度。

摄像机矩阵的分解

求摄像机中心

  中心$C= (X ,Y,Z,T)^T$,其中：

$$X=det([p_2,p_3,p_4])$$
$$Y=-det([p_1,p_3,p_4])$$
$$Z=det([p_1,p_2,p_4])$$
$$T=-det([p_1,p_2,p_3])$$

求摄像机定向和内部参数

$$P=[M|-M\tilde{C}]=K[R|-R\tilde{C}]$$

  其中：

$$K=\begin{pmatrix} \alpha _x & s & x_0\\ 0 &\alpha _y & y_0\\ 0&0 & 1 \end{pmatrix}$$

• $\alpha _x$是$x$- 坐标方向的比例因子
• $\alpha _y$是$y$- 坐标方向的比例因子
• $s$是扭曲参数
• $(x_0,y_0)^T$是主点的坐标
• 像素长度比$\alpha _x/\alpha _y$