转载 http://blog.csdn.net/tiemaxiaosu/article/details/51725240
1 坐标系统 四大坐标系
一、成像坐标
(1)、图像坐标系(Pixel coordinate system)
摄像机采集的数字图像在计算机内可以存储为数组，数组中的每一个元素(象素，pixel)的值即是图像点的亮度(灰度)。如图4.1所示，在图像上定义直角坐标系u-v，每一象素的坐标(u,v)分别是该象素在数组中的列数和行数。故(u,v)是以象素为单位的图像坐标系坐标。
(2)、成像平面坐标系(Retinal coordinate system)
由于图像坐标系只表示象素位于数字图像的列数和行数，并没有用物理单位表示出该象素在图像中的物理位置，因而需要再建立以物理单位(例如厘米)表示的成像平面坐标系x-y，如图4.1所示。我们用(x,y)表示以物理单位度量的成像平面坐标系的坐标。在x-y坐标系中，原点定义在摄像机光轴和图像平面的交点处，称为图像的主点(principal point)，该点一般位于图像中心处，但由于摄像机制作的原因，可能会有些偏离，在坐标系下的坐标为(u0,v0)，每个象素在x轴和y轴方向上的物理尺寸为dx、dy，两个坐标系的关系如下：
其中s'表示因摄像机成像平面坐标轴相互不正交引出的倾斜因子(skew factor)。
(3)、摄像机坐标系(Camera coordinate system)
摄像机成像几何关系可由图4.2表示，其中O点称为摄像机光心，Xc轴和Yc轴与成像平面坐标系的x轴和y轴平行，Zc轴为摄像机的光轴，和图像平面垂直。光轴与图像平面的交点为图像主点O'，由点O与Xc、Yc、Zc轴组成的直角坐标系称为摄像机坐标系。OO'为摄像机焦距。
(4)、世界坐标系(World coordinate system)
在环境中还选择一个参考坐标系来描述摄像机和物体的位置，该坐标系称为世界坐标系。摄像机坐标系和世界坐标系之间的关系可用旋转矩阵R与平移向量t来描述。由此，空间中一点P在世界坐标系和摄像机坐标系下的齐次坐标分别为和且存在如下关系：
其中R是3×3正交单位矩阵，t是3维平移向量，0=（0,0,0）T，M1是两个坐标系之间的联系矩阵。
图像坐标：我想和世界坐标谈谈(B)
玉米将在这篇博文中，对图像坐标与世界坐标的这场对话中涉及的第二个问题：谈话方式，进行总结。世界坐标是怎样变换进摄像机，投影成图像坐标的呢？
玉米做了一个简单的图示，在这里做一个提纲。图中显示，世界坐标系通过刚体变换到达摄像机坐标系，然后摄像机坐标系通过透视投影变换到达图像坐标系。可以看出，世界坐标与图像坐标的关系建立在刚体变换和透视投影变换的基础上。为了奖励刚体变和透视投影变换沟通了“世界上最远的距离”，玉米在图上奖励了他们两朵小红花。哈哈
首先，让我们来看一下刚体变换是如何将世界坐标系与图像坐标系联系起来的吧。这里，先对刚体变换做一个介绍：
刚体变换(regidbody motion):三维空间中， 当物体不发生形变时，对一个几何物体作旋转， 平移的运动，称之为刚体变换。
因为世界坐标系和摄像机坐标都是右手坐标系，所以其不会发生形变。我们想把世界坐标系下的坐标转换到摄像机坐标下的坐标，如下图所示，可以通过刚体变换的方式。空间中一个坐标系，总可以通过刚体变换转换到另外一个个坐标系的。转一转，走一走，就到另外一个坐标系下了。以前可能是面朝大海，经过平移旋转，最终可能只能面朝冰山了，哈哈
下面让我来看一下，二者之间刚体变化的数学表达。
其中，XC代表摄像机坐标系，X代表世界坐标系。R代表旋转，T代表平移。R、T与摄像机无关，所以称这两个参数为摄像机的外参数(extrinsic parameter)可以理解为两个坐标原点之间的距离，因其受x,y,z三个方向上的分量共同控制，所以其具有三个自由度。
R则为分别绕XYZ三轴旋转的效果之和。如下面所示：
R=r1*r2*r3.其由三个方向的θ控制，故具有三个自由度。
好了，刚体变换就讲完了。大家应该都了解，世界坐标系到摄像机坐标系之间的转换过程了吧。
接下来，让我们看看摄像机坐标下的坐标如何投影到图像坐标系下，最终变为照片中的一个像素。这其中包含两个过程：一是从摄像机坐标到“空间图像坐标”（x,y）所发生的透视投影；二是从“连续图像坐标”到“离散图像坐标”(u,v)。后者我们已经在第一篇博文中解释过。所以在这里，主要介绍一下透视投影。
透视投影(perspective projection): 用中心投影法将形体投射到投影面上，从而获得的一种较为接近视觉效果的单面投影图。有一点像皮影戏。它符合人们心理习惯，即离视点近的物体大，离视点远的物体小，不平行于成像平面的平行线会相交于消隐点(vanish point)。
啰嗦这么多，其实大家看看示意图，看看公式，秒懂。
以图中B(XB,YB)点为例，在小孔成像摄像机模型下（几何分析的最常用模型）。这里的f为摄像机的焦距，其属于摄像机的内参数(intrinsic parameter)。其在成像平面上的投影点b(xb,yb)的坐标利用简单的相似三角形比例关系很容易求出：
上面两式也阐明了摄像机坐标与图像坐标之间的透视投影关系。
好吧，现在玉米已经把图像坐标与世界坐标之间的这场对话所需经历的三个波折的过程加以了解释。即：刚体变换、透视投影、(x,y)换(u,v)（ps.这个在上一篇博文中讲过）。接下来玉米用一张图把三个过程连接起来。实现从世界坐标(X,Y,Z)到(u,v)之间的转换。让图像坐标与世界坐标直接对话。
下图中的转换关系，都是用齐次坐标表达的，大家会发现这样的表达非常整洁。
其实这张图显示的过程还有一个名字：摄像机模型(camera model)。其实也就是摄像机的几何模型了。
将三者相乘，可以把这三个过程和在一起，写成一个矩阵：
P就是世界坐标到图像坐标的直接联系人，P就表示了一个投影相机，有下面公式：
注意在表示齐次坐标时，需要在符号上面加个小帽子。除去齐次坐标控制位P23，P具有11个自由度。
摄像机模型及其中涉及的坐标系等，是弄清3D重建几何框架的基础。可以把它们视为基本运算关系。后面对于三维重建几何框架的推导，都是要用到三个基本坐标系和摄像机模型的。
2 摄像机线性模型
一、原理
透视投影是最常用的成像模型，可以用针孔成像模型近似表示。其特点是所有来自场景的光线均通过一个投影中心，它对应于透镜的中心。经过投影中心且垂直于图像平面的直线称为投影轴或光轴，如图4.3所示。其中x1y1z1是固定在摄像机上的直角坐标系，遵循右手法则，其原点位于投影中心，z1轴与投影重合并指向场景，Xc轴和Yc轴与图像平面的坐标轴x1和y1平行，XcYc平面与图像平面的距离为oo1摄像机的焦距f。在实际摄像机中，图像平面位于投影中心后距离为f的位置，其投影图像是倒立的，为了避免图像倒立，假定有一个虚拟成像x 'y 'z'平面位于投影中心的前面，点P(xc,yc,zc)在图像平面上的投影位置(x ,y)可以通过计算点P(xc,yc,zc)的视线与虚拟成像平面的交点得到。
摄像机坐标系与成像平面坐标系之间的关系为：
其中，(x ,y)为P点在成像平面坐标系下的坐标，P(xc, yc, zc)为空间点P在摄像机坐标系下的坐标。用齐次坐标与矩阵来表示：
将(4.1)与(4.2)代入上式，得到图像坐标系和世界坐标系之间的关系：
其中au = f/dx，av = f/dy，s= s'f，[R t]完全由摄像机相对于世界坐标系的方位决定，称为摄像机外部参数矩阵，它由旋转矩阵和平移向量组成；K只与摄像机内部结构有关，称为摄像机内参数矩阵，其中(u0,v0)为主点坐标，au,av分别为图像u轴和v轴上的尺度因子，s是描述两图像坐标轴倾斜程度的参数；P为3 ×4矩阵，称为投影矩阵，即从世界坐标系到图像坐标系的转换矩阵。可见，如果已知摄像机的内外参数，就已知投影矩阵P，对任何空间点，如果已知其三维坐标(xw,yw,zw)就可以求出其图像坐标点的位置(u ,v)。但是，如果知道空间某点的图像点的坐标(u ,v)，即使已知投影矩阵，其空间坐标也不是唯一确定的它对应的是空间的一条直线。即单目摄像头只能测平面信息，不能获取深度信息。
3
畸变模型
一、原理
在实际应用中，由于摄像机镜头在制造中的缺陷以及在装配过程中的定位误差等原因，使用上述的线性模型不能够精确地描述成像几何关系，必须在其中加入非线性畸变参量。为了校正畸变误差，我们需要分析产生畸变的原因并对其在图像平面产生的效果建立数学模型。畸变一般包括径向畸变、离心畸变和薄棱镜畸变等。描述非线性畸变可如式2-14所示。
其中，(x~, y~)表示由线性模型计算出来的图像点坐标的理想值，(x, y)是实际的图像点的坐标，δx和δy是非线性畸变值。非线性畸变值与图像点在图像中的位置有关，可以用式2-15表示。
其中，δx和δy的第一项称为径向畸变，第二项称为离心畸变，第三项称为薄凌镜畸变，k1、k2、p1、p2、s1、s2称为非线性畸变参数。
二、备注
(x, y)是实际图像点的坐标即像平面坐标系，它和图像坐标系的转换如下图像所示。其中(u, v)表示图像坐标，(x', y')表示像平面坐标，x'y'坐标系原点定义在摄像机光轴与图像平面的交点(u0, v0)处，称为像主点。在x'轴和y'轴方向上像素之间的距离为Sx和Sy。则两坐标系之间的关系为：
表示成矩阵形式：
