先把知识点记在这，以后再慢慢学习研究。
如有错误，还望包涵指正。
第1讲 图像与滤波
图像滤波：在尽量保留图像细节特征的条件下对目标图像的噪声进行抑制，即对原图像的每个像素周围一定范围内的像素进行运算，形成一个新的图像，其像素是原始像素的组合。
通过滤波，我们可以从图像中获取有用的信息，例如提取边缘或轮廓；也可以增强图像，例如消除噪音、锐化。
线性滤波：用相邻的线性组合 (加权和) 替换每个像素。包括，相关和卷积。
相关：将图像记为F，以H表示权重核（大小为(2K+1)x(2K+ 1)）, 并记G为输出图像，则
记为
卷积：将权重核H "翻转" （水平和垂直，即顺时针旋转180度）后再计算相关。即
记为
高斯滤波：
二维高斯核计算：
其中，σ为标准差，x为该像素距离卷积核中心的水平距离，y为该像素距离卷积核中心的垂直距离。
第2讲 边缘检测
边缘是图像强度函数中快速变化的地方。
图像导数：
图像梯度：
梯度点在强度增大最快的方向上。
边缘强度：
梯度方向：
寻找边缘：
Sobel算子：
非最大抑制：
检查像素是否沿梯度方向为局部最大值。
Canny边缘检测器：
1. 用高斯导数做滤波
2. 获得梯度的幅值与方向
3. 非最大抑制
4. 连接与滞后阈值化：
– 定义两个阈值：低和高
– 使用高阈值寻找边缘曲线的起点，用低阈值确定后继点
第3讲 图像重采样和插值
图像子采样：每隔一行一列丢弃一行一列，以创建一个 1/2 大小的图像。
奈奎斯特率：采样率≥2 * 图像中的最大频率
高斯预滤波子采样： 对图像高斯滤波，然后子采样，用于解决原始图像频率太高的问题。
上采样：放大原图像，从而可以显示在更高分辨率的显示设备上。重复每行和列10次；使用最近邻插值法。
第4讲 Harris角点检测
几何不变性：旋转，平移，缩放
光照不变性：亮度，曝光率
角点检测的步骤
• 计算图像中每个点的梯度
• 根据梯度创建H矩阵
• 计算H的特征值
• 查找具有较大响应的点 (λmin > 阈值)
• 选择那些λmin 是局部最大值的点
……
第5讲 特征不变性
我们希望角点的位置对光度变换有不变性，对几何变换有协变性。
– 不变性：图像变换后, 角点位置不变
– 协变性：如果有两张同一图像的变换版本, 则应在相应的位置检测到同一特征
角点位置对平移变换是协变的；
角点位置对旋转变换是协变的；
角点位置对仿射强度变化部分具有不变性；
角点位置对缩放不具有不变性。
第6讲 特征描述符与特征匹配
如何实现不变性
1. 确保检测器是不变的
2. 设计不变的特征描述符
MultiscaleOrientedPatcheS描述符（旋转不变行）
1. 选取所检出特征周围40x40的方形窗口
2. 缩放到1/5大小 (使用预滤波功能)
3. 旋转到水平
4. 在以特征为中心的8x8 方形窗口内采样
5. 规格化：强度减去平均值，除以标准差，均值为0，方差为1
ScaleInvariantFeatureTransform描述符
1. 在所检出特征周围取16x16的窗口
2. 为每个像素计算边缘方向 (梯度角度-90)
3. 去除弱的边缘 (梯度幅值阈值)
4. 为剩余边缘方向建立直方图
特征匹配
给定I1中的特征，在I2中如何找到最佳匹配？
1. 定义距离函数来比较两个描述符
2. 测试 I2 中的所有特征，找出距离最小的一个
如何定义两个特征 f1，f2 之间的差异？
• f2是f1在I2中最好的SSD匹配
• f2’ 是f1在I2中次好的SSD 匹配
• 对不正确匹配给出较大的值，可用阈值过滤
距离阈值影响性能
真阳性 = 检测到的匹配项正确的数目
假阳性 = 检测到的匹配项不正确的数目
如何测量特征匹配的性能？
提高阈值，TPR和FPR都增大。
ROC曲线下的面积（AUC）趋近于1越好。
第7讲 变换与卷绕
仿射变换：任何最后一行为[0 0 1]的3x3 矩阵表示的变换称为仿射变换。
仿射变换的性质：
– 原点不一定映射到原点
– 直线映射到直线
– 平行线保持平行
– 保持比率
– 仿射变换的组合是仿射变换
平移变换：
旋转变换（2维）：
缩放变换：
剪切变换：
投影变换：
投影变换的属性：
– 原点不一定映射到原点
– 直线映射到直线
– 平行线不一定保持平行
– 不保持比率
– 投影变换的组合仍是投影变换
第8讲 图像配准
求解homographies
图像配准（对齐）算法
给定图像 A 和 B
1. 计算 A 和 B 的图像特征
2. 匹配 A 和 B 之间的特征
3. 使用匹配集计算A到B单应映射(homographies) 矩阵的最小二乘解
第9讲 RANSAC(随机抽样一致)
RANSAC
1. 随机选择s个样本，通常s=可以求解模型的最少样本数量
2. 使用这s个样本求解模型获得一个解 (如直线)
3. 计数近似符合模型的inliers数
4. 重复N次
5. 选择具有最多inliers数的模型
实验的轮数
p为内点的概率
• s是每次实验使用样本点的数目
• P为实验最终成功找到正确解的概率
• R为实验的轮数
RANSAC利弊
• 优点
– 简单、通用
– 适用于许多不同的问题
– 通常在实践中表现良好
• 缺点
– 需要调整参数
– 有时需要太多的迭代
– 极低inlier比率时可能失败
– 通常可以比蛮力取样做得更好
创建全景图
给定两个图像:
– 步骤 1:特征检测
– 步骤 2: 特征匹配
– 步骤 3: 使用 RANSAC计算单应矩阵
– 步骤 4: 将图像组合在一起
第10讲 相机
适当的缩小光圈可以使图像变得清晰。
为什么不使光圈尽可能的小呢？
（1）光线减少
（2）衍射影响
要投影世界坐标系中的一个点 (X,Y,Z) 到相机里的成像平面
• 首先将世界坐标系中的坐标(X,Y,Z)转为相机坐
标系中的坐标
• 需要知道
– 相机位置 (在世界坐标系中)
– 相机方向 (在世界坐标系中)
• 然后透视投影到图像平面上以获得像素坐标
– 需要知道相机内参数
外参数：
世界坐标系原点到光心COP的平移变换T、描述相机方向的旋转变换R
内参数：
焦距f、主点、像素大小
对失真建模
1. 先将3D坐标
“规范化”为图像坐标。
2. 校正径向畸变
3. 应用焦距平移图像中心
投影矩阵
透视投影
改变透视矩阵的尺度对变换无影响。
正交投影（平行投影）
透视投影与正交投影的区别：透视投影光学中心 COP 到投影平面的距离是有限的。
平行线在消失点汇合
– 每个方向在空间有它自己的消失点
– 但平行于图像平面的平行线保持平行
第11讲 全景图
基本流程
– 从同一位置拍摄一系列图像
• 围绕其光心旋转相机
– 计算第二个图像与第一个映像之间的变换
– 变换第二个图像以与第一个图像部分重合
– 将两者融合在一起创建拼图
– 如果有更多的图像, 重复以上过程
如何将两个图像与同一相机中心相关联？
• 如何将PP1中的像素映射到 PP2？
在 PP1 的每个像素上投射一束光线
绘制该射线与PP2相交的像素
球面投影
将3D 点 (X、Y、Z) 映射到球体上
转换为球面坐标
转换为球面图像坐标
第12讲：单视图建模
消失点
消失线
……
第13讲 立体视觉
第14讲 双视图几何
第15讲 运动恢复结构
第16讲 多视图立体视觉
第17讲 光与感知
第18讲 光度测量立体视觉
第19讲 图像分类
第20讲 神经网络与卷积神经网络
第21讲 反向传播
第22讲 训练卷积神经网络
第23讲 卷积神经网络的新进展
1.求世界坐标系到相机坐标系的变换矩阵？
2. 计算消失点？
3. 计算消失线？