相机标定

1.什么是相机标定
2.为什么要进行标定
3.相机模型
4.现有标定方法
5.张正友标定法推导
6.相应代码实现
7.特种相机标定，相关软件介绍
8.鱼眼相机，双目相机，深度相机

1,2：
http://blog.csdn.net/dcrmg/article/details/52880508

3.相机模型

主要参考
https://zhuanlan.zhihu.com/p/24651968 以及
https://www.cnblogs.com/Jessica-jie/p/6596450.html
http://blog.csdn.net/lql0716/article/details/71973318?locationNum=8&fps=1

这部分内容就是解释下面这张图

3.1 世界坐标系与相机坐标系

在世界坐标系中设一个点坐标为$P_w$, 在相机坐标系中对应点为$P_c$. 两者间的旋转平移关系如下：

$$\begin{equation} P_c=RP_w+T \end{equation}$$
其中 $R$为旋转矩阵，而 $T$ 为平移向量。
写成齐次坐标表示如下：
$$\begin{equation} \begin{bmatrix}x_c\\y_c\\z_c\\1\end{bmatrix}=\begin{bmatrix}R& t\\0 & 1\end{bmatrix}\begin{bmatrix}x_w\\y_w\\z_w\\1\end{bmatrix} \end{equation}$$
为便于理解，我们先将物体从世界坐标转换为相机坐标，投影到相机平面上，然后再考虑从相机平面坐标到像素坐标的转化。
而从世界坐标系到相机坐标系的转化参数 $R,T$即是所谓外参。

3.2 图像坐标系

真实世界的场景在经过相机镜头$O_c$ 后会发生放缩与畸变。在不考虑畸变，理想透镜作用下，针孔相机成像原理如下：

为方便推倒，一般将像平面点移到与同一侧。变成如下这样：

由相似三角形即可得：

$$\begin{equation} x_p=f\frac{x_m}{z_m}; y_p=f\frac{y_m}{z_m} \end{equation}$$
写出齐次坐标形式为:
$$\begin{equation} z_m\begin{bmatrix}x_P\\y_P\\1\end{bmatrix}= \begin{bmatrix}f &0&0&0 \\0&f&0&0\\0&0&1&0\\\end{bmatrix} \begin{bmatrix}x_M\\y_M\\z_M\\1\end{bmatrix} \end{equation}$$

3.3 理想图像坐标到实际图像坐标

现实相机中存在多种缺陷，并不能反映真实物理世界物体的几何形状，这称之为畸变。 主要的畸变分为径向畸变与切向畸变。相应的畸变修正参数即所谓相机内参。对畸变最直观的理解就是现实世界的直线经过相机系统后所成的像变弯曲。

径向畸变 是相机透镜形状制造工艺导致的。越往透镜边缘径向畸变越严重。实际操作时常使用光心r=0处泰勒级数展开前几项近似描述径向畸变。矫正前后坐标关系为：

$$\begin{equation} \left\{\begin{array}{l} x_{rcorr}=x_p(1+k_1r^2+k_2r^4+k_3r^6)\\ y_{rcorr}=y_p(1+k_1r^2+k_2r^4+k_3r^6)\\ \end{array}\right. \end{equation}$$

切向畸变 是由于透镜平面与感光平面平行度不够引起的。切向畸变需要额外的畸变参数来描述，矫正前后坐标关系为：

$$\begin{equation} \left\{\begin{array}{l} x_{tcorr}=x_p+[2p_1x_py_p+p_2(r^2+2x_p^2)]\\ y_{tcorr}=y_p+[p_1(r^2+2y_p^2)+2p_2x_py_p]\\ \end{array}\right. \end{equation}$$
由此可知对于切向畸变，我们有2个畸变参数需要求解。

综上，我们一共需要5个畸变参数（k1、k2、k3、p1和p2 ）来描述透镜畸变。

3.4 从实际图像坐标到像素坐标系

由于定义的像素坐标系原点与图像坐标系原点不重合，假设像素坐标系原点在图像坐标系下的坐标为（u0，v0），每个像素点在图像坐标系x轴、y轴方向的尺寸为：dx、dy，且像点在实际图像坐标系下的坐标为（xc，yc），于是可得到像点在像素坐标系下的坐标为：

$$\begin{equation} u=\frac{x_c}{d_x}+u_0; v=\frac{y_c}{dy}+v_0 \end{equation}$$

结合3.2节可得：

$$\begin{equation} \begin{bmatrix}u\\v\\1\end{bmatrix}=\begin{bmatrix}f/d_x &0&u_0\\0&f/d_y&v_0\\0&0&1\end{bmatrix}\begin{bmatrix}x_M\\y_M\\z_M\\1\end{bmatrix}= \begin{bmatrix}f_x&0&u_0\\0&f_y&v_0\\0&0&1\end{bmatrix}\begin{bmatrix}x_M\\y_M\\z_M\\1\end{bmatrix} \end{equation}$$
其中的转换矩阵即为相机内参矩阵。

5.张正友标定法推导

相机标定的问题是如何求解相机内参矩阵M，上述推导中可以看出世界坐标与相机图像坐标间由内参矩阵连接。故要想办法将内参用照片信息与外界标志信息还原出来。

首先给出单应性矩阵的概念。单应性矩阵是同一场景两个不同视角图像对应点的转换矩阵，即：

$$\begin{equation}x_1=Hx_2\end{equation}$$
如下图中可以找到一个矩阵能表示从X到X’的转化。该矩阵就称之为单应性矩阵。

为简化起见，我们将物体面视为Z=0平面，则有：

$$\begin{equation} s\begin{bmatrix}u\\v\\1\end{bmatrix}=M\begin{bmatrix}r_1&r_2&r_3&t\end{bmatrix}\begin{bmatrix}X\\Y\\0\\1\end{bmatrix}=M\begin{bmatrix}r_1&r_2&t\end{bmatrix}\begin{bmatrix}X\\Y\\1\end{bmatrix} \end{equation}$$
记 $\tilde{P}=[X \, Y \, 1]^T$, $H=M\begin{bmatrix}r_1&r_2&t\end{bmatrix}$,
上式 $\ref{eq: z0plane}$可记为：
$$\begin{equation}\tilde{p}=sH\tilde{P}\end{equation}$$
其中s为比例缩放因子。

我们将单应性矩阵H展开：

$$\begin{equation} H=[h_1 \; h_2 \; h_3]=\lambda M[r_1 \; r_2 \; t] \end{equation}$$
则可以得到
$$\begin{align}h_1&=\lambda Mr_1\\ h_2&=\lambda Mr_2\\ h_3&=\lambda Mt\\ \end{align}$$
由于外参矩阵 $[r_1 \; r_2 \; t]$ 中 $r_1 \perp r_2$,以及 $||r_1||_2=||r_2||_2$所以有：
$$\begin{align} &h_1^TM^{-T}M^{-1}h_2=0\\ &h_1^TM^{-T}M^{-1}h_1=h_2^TM^{-T}M^{-1}h_2 \end{align}$$

接下来令$B=M^{-T}M^{-1}$,显然B矩阵是一个对称阵，一共有六个自由参数，写开可有：

$$\begin{align} B&=M^{-T}M^{-1}= \begin{bmatrix} B_{11}&B_{12}&B_{13}\\ B_{12}&B_{22}&B_{23}\\ B_{13}&B_{23}&B_{33} \end{bmatrix}\\ &= \begin{bmatrix} 1/f_x^2&0&-c_x/f_x^2\\ 0&1/f_y^2&-c_y/f_y^2\\ -c_x/f_x^2&-c_y/f_y^2& c_x^2/f_x^2+c_y^2/f_y^2+1 \end{bmatrix} \end{align}$$

将原约束写为以B矩阵表示为：

$$\begin{align} &h_1^TBh_2=0\\ &h_1^TBh_1=h_2^TBh_2 \end{align}$$

而

$$\begin{align} h_i^TBh_j=v_{ij}^Tb=\begin{bmatrix}h_{i1}h_{j1}\\h_{i1}h_{j2}+h_{i2}h_{j1}\\h_{i2}h_{j2}\\h_{i3}h_{j1}+h_{i1}h_{j3}\\h_{i3}h_{j2}+h_{i2}h_{j3}\\h_{i3}h_{j3}\end{bmatrix}^T \begin{bmatrix}B_{11}\\B_{12}\\B_{22}\\B_{13}\\B_{23}\\B_{33}\end{bmatrix} \end{align}$$

原约束可写为:

$$\begin{equation} \begin{bmatrix}v_{12}^T\\v_{11}^T-v_{22}^T\end{bmatrix}b=0 \end{equation}$$

上式即可用于求解内参。

7.特种相机标定，相关软件介绍
7.1普通单目相机内参标定使用opencv，matlab自带内参标定工具。
http://blog.csdn.net/liyuqian199695/article/details/62887636
7.2 广角大畸变、鱼眼镜头内参标定使用OCamCalib,
https://sites.google.com/site/scarabotix/ocamcalib-toolbox

7.3 双目、多目相机阵列、相机-IMU、行扫描(rolling shutter)内外参数标定使用Kalibr.
7.4 kinect相机标定
https://github.com/code-iai/iai_kinect2/tree/master/kinect2_calibration