相机内参、外参、畸变系数简介

一、相机模型

1、简介

初中物理我们就学过小孔成像问题，这也是我们对相机的最初认识。
仅靠一个小孔进光量太小，拍摄到的照片会很暗，所以实际的相机会使用凸透镜来聚光。但是凸透镜的光学模型过于复杂，通常会简化成针孔相机模型来解释成像过程并进行建模。
这时出现了一个疑问，小孔成像成倒立的像，而照片的方向却是正常的？原因在于相机内部会对所成的像再进行一次镜像，所以用户看到的图像就跟人眼看到的方向一致了，我们可以把这一过程等效成把成像平面放到相机前方，示意图如下（之后为了直观，本文所说的成像平面均为镜像过后的等效成像平面）。

列出几个重要名词，通过下图可以简单建立下概念，后边再细品

• 世界坐标系 $o_w-x_w-y_w-z_w$：世界坐标系不是一个有明确定义的坐标系，你可以任意指定一个在当前场景下固定不变的坐标系作为世界坐标系。
• 相机坐标系 $o_c-x_c-y_c-z_c$：相机坐标系习惯上这样定义：以相机光心为坐标系原点；假设你在手持相机，那么你的右手边是x轴正方向，下边是y轴正方向，相机前方是z轴正方向，也就是说，拍摄的远处物体距离为正。
• 图像坐标系 $o_i-x_i-y_i$：图像坐标系的原点就位于感光芯片的中心（感光芯片是位于镜头背后的用于成像的小板子），x、y轴方向和相机坐标系x、y相同，不同的是图像坐标系是二维坐标系没有z轴。
  
• 像素坐标系 $o_p-x_p-y_p$：像素坐标系也位于成像平面上，是图像坐标系通过平移和缩放的到的。值得注意的是不同软件或者库对于像素坐标$(u,v)$的定义不一样，比如OpenCV中把$u$定义为行坐标，$v$定义为列坐标，与我们这里的定义就不太一样。所以使用前需要统一像素坐标的定义。

2、针孔相机模型

$P_c$点是相机坐标系下坐标，$P_i$是图像坐标系下坐标，$Z_c$是$P_c$点距离光心的距离，$f$是镜头的焦距，$X_c$和$X_i$是点在$x$轴投影距离原点的距离，是正值。
根据相似三角形原理可得:

$$\frac{Z_c}{f}=-\frac{X_c}{X_i}=-\frac{Y_c}{Y_i}（1）$$
回忆前文提到的等效成像平面，我们这里再强化一下这个概念，将$P^{\prime }$镜像到镜头前方

于是可以将(1)式中的负号去掉
$$\frac{Z_c}{f}=\frac{X_c}{X_i}=\frac{Y_c}{Y_i}（2）$$

二、相机内参

内参矩阵描述的是相机坐标系下的坐标到像素坐标的变换关系

1.相机坐标-图像坐标

利用$(2)$式，很容易可以得出二者的转换关系。
$$\{\begin{array}{r}{X}_i=\frac{f}{Z_c}{X}_c\\ Y_i=\frac{f}{Z_c}{Y}_c\end{array}（3）$$

2.图像坐标-像素坐标

图像坐标是实连续值，而像素坐标是离散的正值，经过简单的平移和尺度缩放，很容易得到二者之间的转换关系如下：
$$\{\begin{array}{r}u=\alpha X_i+c_x\\ v=\beta Y_i+c_y\end{array}(4)$$

$\alpha$、$\beta$与实际传感器的物理尺寸有关，单位为$pixel/m$ ；$X_i$、$Y_i$单位为$m$；$c_x$、$c_y$单位为$pixel$。

3.相机坐标-像素坐标

用$(3)$式，将$X_i,Y_i$用$X,Y,Z$替换，得到像素坐标与相机坐标系下坐标的关系
$$\{\begin{array}{r}u=f_x\frac{X_c}{Z_c}+c_x\\ v=f_y\frac{Y_c}{Z_c}+c_y\end{array}（5）$$
为了表达更加漂亮，引入齐次坐标
$$\left(\begin{array}{c}u\\ v\\ 1\end{array}\right)=\frac{1}{Z_c}\left(\begin{array}{ccc}{f}_x& 0& c_x\\ 0& f_y& c_y\\ 0& 0& 1\end{array}\right)\left(\begin{array}{c}{X}_c\\ Y_c\\ Z_c\end{array}\right)（6）$$
$$Z_c\left(\begin{array}{c}u\\ v\\ 1\end{array}\right)=K{P}_c（7）$$
为了避免混淆，一些参考材料会使用$s$来代替$Z_c$，注意他们意思是一样的

思考：

• 观察（6）式可以发现，由于$\frac{1}{Z_c}$的存在，对相机坐标同时乘一个常数后的到的像素坐标是相同的。也就是说从光心发出的射线上的点，在图片里对应的像素坐标是相同的，即点的深度在投影过程中被丢失了。不用特殊手段，单目相机无法得到深度值。但如果给定距离，像素点对应的$P_c$就可唯一确定。
• 再重新处理一下（6）式
  $$\left(\begin{array}{c}u\\ v\\ 1\end{array}\right)=\left(\begin{array}{ccc}{f}_x& 0& c_x\\ 0& f_y& c_y\\ 0& 0& 1\end{array}\right)\left(\begin{array}{c}{X}_c/Z_c\\ Y_c/Z_c\\ 1\end{array}\right)（8)$$
  可以认为像素坐标是对相机前方1处平面上的点采样和量化的过程，这个平面称为归一化平面，平面上点的坐标称为归一化坐标。

至此，我们推出了想要的结果！这个只和相机内部参数有关的矩阵$K$即为相机的内参矩阵
$$K=\left(\begin{array}{ccc}{f}_x& 0& c_x\\ 0& f_y& c_y\\ 0& 0& 1\end{array}\right)(7)$$
有的时候还会引入一个$\lambda$参数，来描述交轴误差（感光芯片的$X,Y$轴没有完全垂直）
$$\left(\begin{array}{ccc}{f}_x& \lambda & c_x\\ 0& f_y& c_y\\ 0& 0& 1\end{array}\right)$$

注意：

• 感光芯片的最小单元一般不是严格的正方形，所以得到的$f_x$和$f_y$不一定相等。并且理论上$f_x、f_y、c_x、c_y$应该是整数，但是最优化算出来的结果不一定是整数，影响不大。
• K一般会由相机生产商提供，如果没有提供则可以通过单目棋盘格张正友标定法确定，这个过程被称作内参标定。
• 实际使用中交轴误差好像很少被考虑

三、外参矩阵

外参矩阵描述的是世界坐标系下坐标与相机坐标系下坐标的转换关系，众所周知，两个坐标系之间的刚体变换可以通过旋转和平移描述，这里其实也没啥好说的。

1.世界坐标-相机坐标

$$\left(\begin{array}{c}{X}_c\\ Y_c\\ Z_c\end{array}\right)=[Rt]\left(\begin{array}{c}{X}_w\\ Y_w\\ Z_w\\ 1\end{array}\right)(8)$$
$$P_c=[Rt]\widetilde{P_w}$$
这里的$\widetilde{P_w}$是齐次坐标，$\widetilde{P_w}=[P_{w}1{]}^T$，$R$是$3\times 3$的旋转矩阵，$t$是$3\times 1$的平移向量，$R$，$t$称为相机的外参数。

这个地方如果不理解的，可以去搜索刚体变换，我这里就不写了

2.世界坐标-像素坐标

$$Z_c{P}_{uv}=Z_c\left(\begin{array}{c}u\\ v\\ 1\end{array}\right)=K[Rt]\widetilde{P_w}（9）$$

四、畸变系数

畸变系数也是相机内参的一部分，非理想情况下，存在以下问题：

1. 透镜自身的形状会对光线传播产生影响——径向畸变

2. 机械组装过程中，透镜和成像平面不可能完全平行——切向畸变

其中切向畸变影响很小；径向畸变最为常见，尤其是在照片的边缘上（可以拿出手机，把自己的脸调整到边缘上，看看有没有变形），效果如下：

1.畸变矫正

如果相机畸变比较明显，那么获得图像坐标后，要使用畸变系数进行矫正，数学模型如下：
径向：
$$\begin{gathered} X_{ic}=X_i(1+k_1{r}^2+k_2{r}^4+k_3{r}^6) \\ {Y}_{ic}=Y_i(1+k_1{r}^2+k_2{r}^4+k_3{r}^6) \end{gathered}$$
切向：
$$\begin{gathered} X_{ic}=X_i+2p_1{X}_i{Y}_i+p_2(r^2+2X_i^2) \\ {Y}_{ic}=Y_i+p_1(r^2+2Y_i^2)+2p_2{X}_i{Y}_i \end{gathered}$$

不同镜头畸变模型不太一样，比如鱼眼镜头和广角镜头都有，这个地方我平时用不到，引用一篇比较完整的总结常用相机投影及畸变模型（针孔|广角|鱼眼），感兴趣的可以去学习。