针孔摄像机

模型

在这里插入图片描述
$针孔摄像机模型$
孔洞 $O$ 和图像plane之间的距离就是焦距 $f$ 。
$i,j,k$ 是相机的参考系，也叫相机的坐标系。
$k$ 是垂直成像平面的， $O$ 和 $C'$ 之间的线叫光轴。
$z$ 是 $O$ 到世界坐标系中物体处的距离。
所以，根据三角形相似，可以得出：

在这里插入图片描述

缺点

但这个公式的前提是假设 $O$ 是一个无穷小的点，如果孔洞打了就会有更多的光线到同一个点上，这样图像就变得模糊了，因为有更多的光所以也变量了，虽然人们可以一直往无穷小的孔洞探索，但是人们更希望能有一个又亮又清晰的图像，这时，透镜的出现解决了这个问题。

透镜

在这里插入图片描述
$简单的模型图$

$带有符号的图$
点 $P$ 离图像平面的距离会影响图像的清晰程度，这个是跟焦点相关的，所有平行于光轴的光线都会通过焦点

这个还和“景深”有关，现在的智能机的拍摄功能一般都有景深效果，我之前理解的是背景模糊功能，真正的概念是相机拍摄清晰照片的有效范围，所以智能机就是把范围控制到了人像的位置，所以后面的超出有效范围的背景就变得模糊了。

这里的焦距是焦点位置到lens的中心点的位置之间的距离，和针孔摄像机不一样，真实点和投射点之间的关系为：
在这里插入图片描述

这个公式看起来和之前的针孔很像，但是字符的概念是不同的：
在针孔摄像机中， $z'=f$ ；在透镜模型中， $z' = f + z_0$ 。
不同之处就在于对于焦距的定义不同

在这里插入图片描述
$两种畸变：枕形和桶形$
上面的推导使用了“薄透镜”假设，所以被叫做 parxial refraction model
同时，也因为这种假设，所以会产生 radial distortion (径向畸变) 现象，因此图像的放大倍数也会因为离光轴的距离的变化而变化，枕形是越远放大倍数越大，桶形是越远放大倍数越小。

之所以”薄透镜“假设会导致这种情况，是因为透镜的不同部位有不同的焦距，而这种假设将所有部位的焦距都看成相同的了。

转化到数字图像

由于以下几个原因，3D空间投影出来的图像和实际的数字图像并不能对应起来：

投影出来的图像是连续的，但实际的数字图像是离散的
数字图像和世界的参考系不同

就是说数字图像能对应多个参考系，是因为这个吗？
物理传感器可以将失真等非线性引入到映射中

这个还不知道是个啥？

因此，还要引入一些其他的参数才能做映射：

图像的原点在光轴和图像的相交处，一般是图像的中心，而数字图像的原点在左下角，如果换成pyhton数组的话是从右上角开始吧，这也得加个变换参数处理，如下公式：
数字图像中的点用像素表示，而平面上使用物理单位的(cm、m)，所以引入两个新参数 $k、l$ ，对应两个轴的度量转换： $\frac{pixels}{cm}$ 。这个 $k、l$ 跟不同轴的比例相关，如果 $x、y$ 的缩放相同，就是说摄像机的像素是正方形的。引入这两个参数后公式为：

在这里插入图片描述
引入齐次坐标后：

在这里插入图片描述

一些约束

从世界坐标到像素坐标的变换，用一个 $M$ 来表示
$M = K[R\ T]=[KR\ KT]=[A b]$
$A = [a_1,a_2,a_3]^T$
然而，对于不同的情况，有着不同的限制：

普通的透视映射，要求 $Det(A) \ne 0$
zero-skew的情况，不仅要求 $Det(A) \ne 0$ ，并且 $(a_1 \times a_3)*(a_2 \times a_3) = 0$
zero-skew 加 unit aspect-ratio 就是 $Det(A) \ne 0$ 和：

在这里插入图片描述
$Thin Lense(薄镜头)$

物理光学知识

在这里插入图片描述
平时我们讲的那些光，都是忽略了衍射、干扰还有其他的物理光学现象，除开这些光学现象，透镜的性质有以下的光学性质决定：

光在均匀介质中直线传播
光照射到一个平面上会发生反射，入射光、反射光、平面法线是共面的，法线和两条ray之间的角是互补的

就是 $\alpha_1 + 90$ 和 $r_1'$ 到右边的水平线的角度是互补的
光穿过不同的介质会发生折射，如 $r_1$ 、 $r_2$ ，这两个ray和法线共面， $\alpha_1$ 、 $\alpha_2$ 的性质有物体的性质决定：
$n_1 sin\alpha_1 = n_2 sin\alpha_2$