智能机器人技术——视觉
1.图像形成 2.透视摄影 3.立体视觉
1.1图像形成
一幅特定图像的形成过程是怎样的？
简单的将一个感光表面（胶片、CCD、CMOS）置于一个物体前是否能够获得该物体的图像？
如果在物体和感光表面（胶片、CCD、CMOS）间放置一个有 “小孔”的遮光板遮蔽掉大部分的光线？
1.1.1图像形成——针孔相机模型
针孔相机又称为暗箱，其是一个不透光的箱子，在一侧有一个小孔（没有透镜）；从场景来的光穿过这个小孔，在箱子的对面， 投射一个倒影。
针孔相机的重要性在于， 它已被采用当做透视摄像机的标准模型。
1.1.2图像形成——透镜成像
如果在物体和感光表面（胶片、CCD、CMOS）间放置一个透镜？
- 所有通过光学中心的光线都不会发生折射
- 所有平行于光轴的光线都会聚焦到焦点
1.1.3图像形成——透镜成像 & 针孔相机模型
当 z>>f时，可以移动成像平面至焦点处 e = f；因此，我们可以将焦距为 f 的透镜近似等同于 距焦平面为f的针孔相机模型。
透视（Perspective）效应：物体成像的大小与该物体离透镜（摄像机）的距离成反比的关系。
由于透视效应，会造成“近大远小”的现象，为了正确的识别物体和进行计算，对透视投影进行分析建模十分有必要。我们将首先考虑一个简化模型,然后给出一般模型
1.2透视摄影
1.2.1透视摄影——坐标系
在建模的时候，为了方便起见，常用处于投影中心和物体（场景） 之间的成像平面来表示针孔摄像机模型
令 (Xc, Yc, Zc) 为摄像机参考坐标系，原点处于C， Zc 轴与光轴重合； 并且，令摄像机参考坐标系与物体（场景）参考坐标系一致。
同时，再引入成像平面的一个二维参考坐标 (x, y) ，原点处于O点， x 和 y 轴分别和Xc 轴和Yc 轴对准。
1.2.2透视摄影——简化模型
在简化模型中，我们只考虑3D到2D的坐标变换。
每一个成像点是所有无穷远3D点的投影，这些点位于穿过相同的成像点和投影中心的光线上。
因而，使用一个单独的针孔摄像机不可能估计距一个点的距离， 但我们可用两个摄像机(即立体摄像机）进行估计。
1.2.3透视摄影——一般模型
一般模型描述从3D坐标变换到像素坐标的一个实际的摄像机模型，像素坐标由一个个像素组成，是离散的。
在这个模型中必须考虑：
- 像素化；
- 摄像机和物体（场景）之间的坐标转换。
1.2.3.1透视摄影——一般模型（成像和像素间转换）
成像坐标系向像素坐标系的转换： 摄像机坐标系
- 相对于图像的左上角，摄像机光学中心具有坐标(u0 ,v0),该点常被假定为成像平面坐标系的原点。
- 像素坐标系中点的坐标以像素度量，像素的形状一般不假 定为正方形；因而必须沿水平和垂直方向，分别使用两个不同的比例因子 ku和 kv。
1.2.3.2透视摄影——一般模型（场景和摄像机间转换）
1.2.3.3透视摄影——一般模型（畸变）
前述的图像投影模型，假定摄像机服从一个线性投影模型， 模型里环境中的直线产生图像中的直线。
但许多广角镜具有值得注意的径向畸变，在直线投影中,本身表现为明显的弯曲。
因而，摄像机的准确模型也必须考虑到透镜的径向畸变，尤其是对具有短焦距的镜头。
1.2.3.4透视摄影影—一般模型（径向畸变）
径向畸变的标准模型，是一个从理想坐标(即无畸变)(u,v)到 实际可观测坐标(畸变的)(ud,vd)的变换。
根据径向畸变的类型，在观测到的图像坐标中，展示为离开( 桶形畸变)或趋向(枕形畸变)图像中心。 观测到的图像的坐标畸变量是径向距离r的非线性函数。对于大多数透镜，一个简单的二次畸变模型产生良好的结果:
1.2.3.5透视摄影——摄像机标定
标定包括准确地测量摄像机模型的内在和外在参数。由于这些参数支配着场景点被映射到它们对应的图像点的方法。
其理念是：知道了图像点p的像素坐标和对应的场景点P的3D坐标，那么有可能通过求解透视投影方程来计算未知参数。
1.2.3.6透视摄影——平面栅格摄像机标定
近年提出了一种摄像机标定技术，他不用3D标定物本，而用一个平面栅格。最常用平面栅格是一个类似棋盘的模式,由于它易于抽取角点，然后用它做标定。 这个方法叫做平面栅格标定。
该方法需要用户摄取几幅模式照片，模式以不同的位置和角度显示。知道了真实模式上角点的2D位置和各图像上它们 相应角的像素坐标，则可以求解出摄像机的内在和外在参数。
标定的准确度随所用图像的数目而提高。 图像要尽可能地多覆盖摄像机的视场， 且方位的范围要宽。
1.3立体视觉
视觉成像中的一个基本问题导致测距相对困难：常规视觉芯片往往将3D世界瓦解成2D图像平面，因而丧失了深度信息。 如前所述，使用一个单独的摄像机难以估计距一个点的距离。
1.3.1计算机视觉的基本原理——立体视觉
计算机立体视觉是从一对图像中获取深度信息的过程，图像 来自从不同位置观看同一个场景的两个摄像机，知道了两幅图像间的对应关系，知道了两个摄像机的相对方位和位置， 知道了两个摄像机的内在参数，就有可能重构场景点。
1.3.2简化情况
首先，考虑简化情况。假设两个摄像机参数完全一致并且假定它们与水平轴完全平行。两个摄像机之间的间隔**（称为基线）为b**。 通过三角形相似，可得：
ul 称为视差，通过测量视差，可以恢复深度信息。
1.3.3一般情况
两个摄像机完全一致并对准这一假设，实际中并不成立。 因此：让我们假定，两个摄像机已经被标定。
立体视觉中，通常假定环境坐标系的 原点处在左边摄像 机，我们可以写出两个摄像机的透镜投影方程：
