3D视觉原理-针孔相机模型

图像传感器像素位置和3D空间点位置关系可以通过相似三角形获得
x传感器图像物理位置, X目标点位置，Z是距离，f焦距
$$\frac{X}{x}=\frac{Z}{f}\text{\hspace{1em}(1)}$$
可得
$$X=x\cdot \frac{Z}{f}\text{\hspace{1em}(2)}$$
同理
$$Y=y\cdot \frac{Z}{f}\text{\hspace{1em}(3)}$$
如果Z信息已知，可以从图像坐标得到物体的3D坐标X,Y

实际图像和前面的模型有些差别, 图像的坐标系原点在左上角, 镜头中心对应的像素坐标($c_x$, $c_y$) 不是 (0, 0), 所以计算像素坐标(u,v)和3D物理坐标关系前, 先平移(u - $c_x$, v - $c_y$)
图像像素与物理坐标联系需要根据传感器物理尺寸将像素坐标乘以比例系数变成物理坐标
即
$$x=s_x\cdot (u-c_x)\text{\hspace{1em}(4)}$$
$$y=s_y\cdot (u-c_y)\text{\hspace{1em}(5)}$$
将 (4),(5) 代入公式 (2), (3)得到
$$X=(u-c_x)\cdot \frac{Z}{\frac{f}{s_x}}\text{\hspace{1em}(6)}$$
$$Y=(u-c_y)\cdot \frac{Z}{\frac{f}{s_y}}\text{\hspace{1em}(7)}$$
即
$$X=(u-c_x)\cdot \frac{Z}{f_x}\text{\hspace{1em}(8)}$$
$$Y=(u-c_y)\cdot \frac{Z}{f_y}\text{\hspace{1em}(9)}$$
($f_x$, $f_y$, $c_x$, $c_y$) 即为相机的内参, 可以通过对相机标定求出, 其中$f_x=\frac{f}{s_x}$， $f_y=\frac{f}{s_y}$
上述表达式以矩阵形式表示即为
$$Z\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\left[\begin{array}{ccc}{f}_x& 0& c_x\\ 0& f_y& c_y\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}X\\ Y\\ Z\end{array}\right]\text{\hspace{1em}(10)}$$