三维重建是要使用二维信息恢复三维信息，而被动视觉方法所使用的二维信息即为图像序列，首先要想从二维到三维，我们首先应建立三维到二维的数学模型，再研究怎样通过已建立的数学模型，来逆向求解。所以本文主要介绍相机成像原理以及世界坐标系、相机坐标系、图像坐标系和像素坐标系之间的关系，建立三维到二维的数学模型，为后面恢复三维信息打下基础。

一、相机成像原理

1.1 小孔成像模型

在研究相机成像问题时最常用的相机成像模型为针孔成像也叫小孔成像，其简化相机透镜为一小孔，如下图所示：

但是上图成像为倒像不利于后续研究，所以成像模型就将像面移到了透镜的前方，方便后续的研究，此时的像为正像，并将小孔称为光心：

对于小孔成像模型其忽略了相机的畸变等影响，但是后期可以引用一系列的畸变等参数进行补充小孔成像模型。

1.2 三维表达

将小孔成像模型的三维表达如图所示：

二、坐标系以及之间的转换

坐标系的种类主要有以下几种：

（1）世界坐标系 $(X_{W}, Y_{W}, Z_{W})$ ：描述目标在真实世界中的位置引入的参考坐标系。

        （2）相机坐标系 $(X_{C}, Y_{C}, Z_{C})$ ：联系世界坐标系与图像坐标系的桥梁，一般取摄像机的光学轴为ｚ轴。
        （3）图像坐标系 $(x, y)$ ：根据投影关系引入，方便进一步得到像素坐标，单位为毫米，坐标原点为摄像机光轴与图像物理坐标系的交点位置。
        （4）像素坐标系 $(u, v)$ ：真正从相机内读到的信息，图像物理坐标的离散化，以像素为单位，坐标原点在左上角。

2.1 世界坐标系转相机坐标系

世界坐标系与相机坐标系之间的转换属于刚体变换，物体不会发生形变，只是坐标系之间进行了平移与旋转。对于这之间的刚性变换（刚性运动），就是对原坐标系乘一旋转矩阵R再加一平移向量T，使得两坐标轴的原点、X轴、Y轴和Z轴重合。

将一坐标系分别绕其X轴、Y轴和Z轴进行旋转不同的角度可以得到相应的旋转矩阵。以绕z轴旋转为例：

由此可得：

所以原世界坐标三维点P点坐标转换到相机坐标系如下：

R为3×3矩阵；T为3×1矩阵。

2.2 相机坐标系转图像坐标系

世界坐标系转换到相机坐标系是三维坐标之间得转换，而相机坐标系转换为图像坐标系是三维到二维之间得转换。

由图中三角形相似关系可得：

此时，P点坐标已经转换成了p点坐标，但是此时的p坐标的单位不是像素pixel，而是mm，下面将进行图像坐标系转换像素坐标系，转换后的坐标单位将变为pixel。

2.3 图像坐标系转像素坐标系

像素坐标系和图像坐标系在理想情况下都位于同一平面（像面），但二者的单位与原点位置不同。图像坐标系的原点为光轴与像面的交点o，单位为mm；像素坐标系的原点一般定义为图像的左上角Ouv，单位为pixel，一般采用（u,v）来表示u列v行。dx和dy表示每一列和每一行分别代表多少mm，即1pixel=dx mm。