《计算机视觉之三维重建》笔记2-相机几何与标定

北邮鲁鹏老师的课程《计算机视觉之三维重建（深入浅出sfm和SLAM核心算法）》 笔记

2，相机几何与标定

2.1 相机模型

点$P$在坐标系$Oijk$下的坐标为$(x,y,z)$，求点$P^{\prime }$的像素坐标$(x^{\prime },y^{\prime })$

图中的成像平面是倒着的，应放在虚拟像平面上求解，容易求得$P^{\prime }$的三维坐标为$(f\frac{x}{z},f\frac{y}{z},f)$，所以$P^{\prime }$在图像平面上的二维坐标为$(f\frac{x}{z},f\frac{y}{z})$
$k,l$表示图像$X,Y$轴方向每米的像素点个数。
$u_0,v_0$表示图像中心点距离图像左下角的像素个数。
上面$P^{\prime }$的坐标原点是图像中心，而像素点坐标以左下角为原点，所以得到$P^{\prime }$的像素坐标为$(fk\frac{x}{z}+u_0,fl\frac{y}{z}+v_0)$
令$\alpha =fk,\beta =fl$

整理一下，写成其次坐标（这边的点有时写成空间坐标，有时写成齐次坐标，因公式而异，不具体说明了），得到相机模型：
$$P^{\prime }=MP=\left[\begin{array}{cccc}\alpha & 0& u_0& 0\\ 0& \beta & v_0& 0\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{l}x\\ y\\ z\\ 1\end{array}\right]$$
考虑相机偏斜：
$$P^{\prime }=MP=\left[\begin{array}{cccc}\alpha & -\alpha cot\theta & u_0& 0\\ 0& \beta /sin\theta & v_0& 0\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{l}x\\ y\\ z\\ 1\end{array}\right]$$
令
$$K=\left[\begin{array}{ccc}\alpha & -\alpha cot\theta & u_0\\ 0& \beta /sin\theta & v_0\\ 0& 0& 1\end{array}\right]$$
则
$$P^{\prime }=MP=K[I,0]P$$
$M$为投影矩阵，$K$为相机内参数矩阵
考虑世界坐标系，相机坐标系到世界坐标系的变换为$R,T$，为相机的外参数，则：
$$P=\left[\begin{array}{ll}R& T\\ 0& 1\end{array}\right]P_w$$
带入相机模型：
$$P^{\prime }=K[I,0]\left[\begin{array}{ll}R& T\\ 0& 1\end{array}\right]P_w=K[R,T]P_w=M{P}_w$$
相机内参数$K$有5个自由度，相机外参数$R,T$有6个自由度，所以投影矩阵$M$有11个自由度。

2.2 相机标定

标定问题：给定世界坐标系三维点$P_1,\cdots ,P_n$，以及对应的图像点$p_1,\cdots ,p_n$，求相机内外参数$K,R,T$。

$m_i$表示$M$的第$i$行，像素点坐标为$(u_i,v_i)$，带入相机模型：
$$\{\begin{array}{c}-u_1{m}_3{P}_1+m_1{P}_1=0\\ -v_1{m}_3{P}_1+m_2{P}_1=0\\ ⋮\\ -u_n{m}_3{P}_n+m_1{P}_n=0\\ -v_n{m}_3{P}_n+m_2{P}_n=0\end{array}$$
整理一下，把M按行扫描展成列向量$\vec{m}=\left(\begin{array}{l}{m}_1^T\\ m_2^T\\ m_3^T\end{array}\right)$
$P=\left(\begin{array}{ccc}{P}_1^T& 0& -u_1{P}_1^T\\ 0& P_1^T& -v_1{P}_1^T\\ & ⋮& \\ P_n^T& 0& -u_n{P}_n^T\\ 0& P_n^T& -v_n{P}_n^T\end{array}\right)$

将标定问题转化为线性方程组：$$P\vec{m}=0$$
求解
step1：三维点不在同一平面上，且$n\ge 6$，齐次方程最小二乘法（1.1.2节）求解得到$M$
step2：分解$K[R,T]=M$，求$K$

一些约定：$R=\left(\begin{array}{l}{r}_1^T\\ r_2^T\\ r_3^T\end{array}\right),T=\left(\begin{array}{l}{t}_x\\ t_y\\ t_z\end{array}\right)$，$M$相差一个尺度，可写成$\rho [Ab]$，$A=\left(\begin{array}{l}{a}_1^T\\ a_2^T\\ a_3^T\end{array}\right),b=\left(\begin{array}{l}{b}_1\\ b_2\\ b_3\end{array}\right)$已知，$\rho$未知。 \newline
$K[R,T]=\left[\begin{array}{cc}\alpha r_1^T-\alpha cot\theta r_2^T+u_0{r}_3^T& \alpha t_x-\alpha cot\theta t_y+u_0{t}_z\\ \beta /sin\theta r_2^T+v_0{r}_3^T& \beta /sin\theta t_y+v_0{t}_z\\ r_3^T& t_z\end{array}\right]=[\rho A,\rho b]$ \newline
$\{\begin{array}{l}\rho a_1\cdot \rho a_3=u_0\\ \rho a_2\cdot \rho a_3=v_0\\ \rho a_3\cdot \rho a_3=1\end{array}$，得$\rho =\pm 1/|a_3|$，$\Rightarrow \{\begin{array}{l}{u}_0=a_1\cdot a_3/|a_3{|}^2\\ v_0=a_2\cdot a_3/|a_3{|}^2\end{array}$ \newline
$\{\begin{array}{l}\rho a_3\times \rho a_1=\alpha r_2+\alpha cot\theta r_1\\ \rho a_2\times \rho a_3=\beta /sin\theta r_1\end{array}$ \newline
两边取模和两式相乘分别可得：$\{\begin{array}{l}{\rho }^2|a_1\times a_3|=\alpha /sin\theta \\ {\rho }^2|a_2\times a_3|=\beta /sin\theta \end{array}$ \newline
和 ${\rho }^4(a_3\times a_1)(a_2\times a_3)=\alpha \beta cot\theta /sin\theta =\alpha \beta cos\theta /si{n}^2\theta$
$\Rightarrow cos\theta =-\frac{(a_1\times a_3)(a_2\times a_3)}{|a_1\times a_3||a_2\times a_3|}$ $\Rightarrow \theta$ \newline
$\Rightarrow \{\begin{array}{l}\alpha ={\rho }^2|a_1\times a_3|sin\theta \\ \beta ={\rho }^2|a_2\times a_3|sin\theta \end{array}$ \newline
内参数求解完毕$\square$

step3：求$R,T$

从上面推导中，得到$r_3=\rho a_3,r_1=\frac{(a_2\times a_3)}{|a_2\times a_3|}$ $\Rightarrow r_2=r_3\times r_1$
$KT=\rho b$ $\Rightarrow T=\rho K^{-1}b$
外参数求解完毕$\square$
外参数不唯一，有两组值，可以根据先验知识获得唯一值。

2.3 径向畸变相机模型

如图，无畸变的图像应该是虚线的部分，由于相机的畸变，图像变成了实线的部分的样子，将畸变图像校正：
$$\left(\begin{array}{cc}\lambda & 0\\ 0& \lambda \end{array}\right)\left(\begin{array}{c}{u}_i\\ v_i\end{array}\right)$$ 其中，$\lambda =1+{\sum }_{p=1}^3{k}_p{d}^{2p},d^2=u_i^2+v_i^2$。带入相机模型，得到畸变相机模型：
$$P^{\prime }=\left[\begin{array}{ccc}\frac{1}{\lambda }& 0& 0\\ 0& \frac{1}{\lambda }& 0\\ 0& 0& 1\end{array}\right]M{P}_w=Q{P}_w$$

2.4 径向畸变相机标定

畸变相机标定需要求参数$m_i,k_i$。同相机标定问题，畸变相机标定问题：
$$\{\begin{array}{c}-u_1{q}_3{P}_1+q_1{P}_1=0\\ -v_1{q}_3{P}_1+q_2{P}_1=0\\ ⋮\\ -u_n{q}_3{P}_n+q_1{P}_n=0\\ -v_n{q}_3{P}_n+q_2{P}_n=0\end{array}$$
但式中$q_i$是$k_i,m_i$的非线性函数，所以上述放出是非线性方程：
$$\{\begin{array}{c}{f}_1(k_1,k_2,k_3,m_1,m_2,m_3)=0\\ f_2(k_1,k_2,k_3,m_1,m_2,m_3)=0\\ ⋮\\ f_{2n}(k_1,k_2,k_3,m_1,m_2,m_3)=0\end{array}$$
可以直接用非线性最小二乘得到$k_i,m_i$的解。这边可以先求出$m_1,m_2$：
$$\{\begin{array}{c}\frac{1}{\lambda }{m}_1{P}_i=u_i{m}_3{P}_i\\ \frac{1}{\lambda }{m}_2{P}_i=v_i{m}_3{P}_i\end{array}$$ 两式相除得：
$$\frac{m_1{P}_i}{m_2{P}_i}=\frac{u_i}{v_i}$$ 得到$m_1,m_2$的线性方程组：
$$\left(\begin{array}{cc}{v}_1{P}_1^T& -u_1{P}_1^T\\ ⋮& ⋮\\ v_n{P}_n^T& -u_n{P}_n^T\end{array}\right)\left(\begin{array}{c}{m}_1^T\\ m_2^T\end{array}\right)=0$$
求得$m_1,m_2$，作为上面的非线性方程组的初始解，得到最终的$k_i,m_i\square$