UCAS-AI学院-计算机视觉专项课-第2讲-课程笔记

图像特征提取

• 特征提取式计算机视觉的基本步骤
• 特征：能够反应图像内容的细节
  • 边缘和轮廓
• 可靠的边缘和关键点提取，能够解决很多视觉问题
• 边缘
  • 物体的边界
  • 表面方向的改变
  • 不同的颜色
  • 光照明暗的变化

边缘提取

• 边缘的定义
  • 图像中亮度突然变化的区域
  • 灰度构成的陡峭区域
  • 灰度的阶跃变化或屋脊变化的集合
• 边缘类型
  • 阶梯状边缘
  • 屋脊状边缘（渐变）
  • 线条状边缘
• 动机
  • 最基本的图像特征
  • 对图像的变化（几何、灰度、光照）不敏感
• 思路
  • 抑制噪声（LP）
  • 边缘特征增强（HP）
  • 边缘定位
• 微分算子
  • 一阶微分算子：梯度，检测最大值
    • 幅值表示边缘的强弱，方向表示灰度变化最快的方向
    • 对噪声敏感——抑制噪声（滤波——对算子微分后卷积滤波）
    • Prewitt：近似一阶微分，去噪+增强边缘
    • Sobel：近似一阶微分，四邻域权重更大
  • 二阶微分算子：拉普拉斯，检测过零点
    • Laplacian：方向属性丢失，对噪声非常敏感
    • LOG：先高斯平滑，在Laplacian滤波——对算子微分后滤波
      • 草帽滤波器
      • 可以分两部实现，灵活性更大
      • 定位准确，但是产生很多封闭轮廓，过零点检测也需要复杂算法
• Canny边缘检测
  • 最优原则：边缘检测（边缘比噪声明显）+好定位（极大值抑制）+低错误（单极值点）
  • 计算梯度——局部极值
  • 非极大值抑制——仅保留梯度方向的极大值点
  • 双阈值提取边缘
    • 大阈值——少量边缘点，大量的空隙
    • 小阈值——大量边缘点，大量的错误
    • 边缘链接：大阈值结果沿小阈值结果延伸
  • 参数少，计算效率高，边缘连续完整

特征点提取

• 特征点是基础

• 好的角点检测算法

  • 真实角点
  • 准确定位
  • 稳定性好
  • 对噪声鲁棒
  • 较高的效率

• Harris角点检测：从小窗观察图像特征

  • 角点：窗口任意方向都有明显的灰度变化
  • 边缘：边缘方向上没有明显变化
  • 窗口平移 $[u,v]$产生的灰度变化 $E(u, v) = \sum_{x,y} [I(x + u, y + v) - I(x, y)]^2$
  • 对二次项泰勒展开，得到形式 $E(u, v) = \left[ \begin{array}{c} u & v \end{array} \right] \left[ \begin{array}{c} I_x^2 & I_x I_y \\ I_x I_y & I_y^2 \end{array} \right] \left[ \begin{array}{c} u \\ v \end{array} \right]$
  • 对微小的平移，可以表达成 $E(u, v) = \left[ \begin{array}{c} u & v \end{array} \right] M \left[ \begin{array}{c} u \\ v \end{array} \right]$
  • 利用其椭圆形式，将问题转化为 $M$的特征值分析（最大和最小的特征值分别对应变化最快和最慢的方向）
  • 平坦区域，两个特征值都很小
  • 边沿，其中一个明显大于另一个
  • 角点，二者都很大，且数值相当
  • 角点相应函数 $R = \det M - k (\operatorname{trace} M)^2 = \lambda_1\lambda_2 - k (\lambda_1 + \lambda_2)^2$
    • $k$一般取0.04到0.06
    • 角点，R为大正数
    • 边缘，R为大负数
    • 平坦区，R为小数值
  • 算法
    • 对 $R$进行阈值处理
    • 提取处理后的局部最大值
  • 性质
    • 旋转不变性（特征值不变）
    • 灰度的仿射变换具有部分不变性（平移加法不变，尺度数乘有变）
    • 几何尺度有变

• ORB特征检测

  • FAST（特征检测） + BRIEF（特征描述）
  • 快速、兼顾准确性
  • FAST：灰度值比周围足够多的像素点灰度值大或小，即为角点