UCAS-AI学院-计算机视觉专项课-第4讲-课程笔记

图像分割

概述

• 图像分割：将图像分成互不重叠的区域并提取出感兴趣的技术和过程
• 类型
  • 基本图像分割，分成若干不重叠区域
  • 语义分割，分割并确定区域的语义标签
  • 实例分割，基于语义分割，进一步区分同一类的个体
• 动机
  • 中层视觉
  • 图像处理到图像分析的关键步骤
  • 目标表达的基础
• 典型问题
  • 分割的歧义性
  • 依赖底层视觉（提供充分的视觉信息）
  • 依赖高层视觉（提供高层知识）
  • 同一目标的不同环境下的呈现
• 基本依据
  • 区域内一致性
  • 区域间不一致性

早期的图像分割方法

• 方法分类
  • 阈值法
  • 区域生长法
  • 分裂合并法
  • 基于边缘的分割方法
  • ……
• 阈值法
  • 基本原理：设定不同的特征与之，将图像像素点分为若干类
  • 常用特征：灰度、彩色特征、原始灰度或彩色值变换得到的特征
  • 关键：选取一个合适的阈值
  • 局部阈值法：将图像分块，分别用全局阈值分割，再进行综合

基于特定理论的分割方法

• 均值漂移 Mean Shift

  • 均值漂移
    • 一种基于一般核函数的非参数密度梯度的估计算法
    • 根据选定区域的样本计算均值向量，再根据均值重新确定区域，迭代计算，直到“均值”收敛，就是整个样本集中密度最大的位置（局部最优）
  • 核心思想：找到概率密度梯度为零的采样点，并以此作为特征空间聚类的模式点
  • 非参数概率密度估计：数据点的密度隐含PDF的情况
  • 参数概率密度估计：已知分布函数的形式，利用数据点进行函数参数的估计
  • 均值漂移使用核密度梯度估计方法（非参数估计）
    • $P(x) = \frac 1n \sum_i K(x - x_i)$
    • 常用高斯核 $K(x - x_i) = c \cdot \exp(\|\frac {x - x_i}{h}\|^2)$
    • 梯度估计？直接估计核函数的梯度
    • $\nabla P(x) = \frac cn \left[ \sum_i g_i \right] \left[ \frac{\sum_i x_i g_i}{\sum_i g_i} - x \right] $
    • 其中 $g(x) = -K^\prime(x)$
    • 后一个乘数可以看作是梯度的漂移过程——加权（以 $g$为权）均值漂移过程
  • 算法流程
    • 计算 $m(x) = \left[ \frac{\sum_i x_i g_i}{\sum_i g_i} - x \right]$
    • 如果 $m(x) - x$小于阈值则结束；否则将 $m(x)$赋给 $x$，迭代求解
  • 分割流程
    • 聚类过程（确定各个像素点的均值漂移收敛点，对收敛点进行聚类实现分割）
    • P40

• 图割 Graph Cut

  • 基本思想
    • 图像用图的方式表示，顶点为像素、边为像素间联系，图像分割对应图的割集
    • 确定边权，目标为图的最小割
    • 使用最大流算法求解最小割
  • S-T图
    • 有源点和宿点
    • 每条边有一个非负容量 $\operatorname{Cap}(i, j)$
    • 割：将图分成两个子集
    • S-T割：当且仅当源点属于S集，宿点输入T集
    • 最小割：涉及容量最小的S-T割
  • 应用
    • Normalized Cut
    • Graph Cut 能量极小化
  • Normalized Cut
    • 分割——分类问题，集内相似最大，集间相似最小
    • 邻接矩阵——二分类——最小割
    • 正则化——避免孤立值较大权重的情况——基于边权和的归一化
    • 最小化类间相似度 $\operatorname{NCut}(A, B) = \frac {\operatorname{Cut}(A, B)}{\operatorname{assoc(A, V)}} + \frac {\operatorname{Cut}(A, B)}{\operatorname{assoc(B, V)}}$
      • 其中 $\operatorname{assoc}(A, V) = \sum_{u \in A, t \in V} w(u, t)$
    • 类内相似度 $\operatorname{Nassoc}(A, B) = \frac {\operatorname{assoc}(A, B)}{\operatorname{assoc(A, V)}} + \frac {\operatorname{assoc}(A, B)}{\operatorname{assoc(B, V)}}$
      • 可以证明 $\operatorname{NCut}(A, B) = 2 - \operatorname{Nassoc}(A, B)$
      • 最小化类间相似度等价于最大化类内相似度——NP问题
    • 对 $(D - W)x = \lambda D x$进行特征值分解，次小特征值对应向量即为NCut实数解
    • 二分类：取中分分界或者取0分界
    • 多分类：次小特征值对应向量进行二分类，再次小特征值对应向量细分
    • 应用：像素点作为点集，点之间的联系作为边权，构成邻接矩阵即可
  • Graph Cut
    • CV中的多标记问题：最优标记（图像分割、图像恢复、立体视觉、三维重建）
    • 对标记问题的能量极小化模型： $E(f) = E_{data}(f) + E_{smooth}(f) = \sum_pD_p(f_p) + \sum_{p,q}V_{pq}(f_p, f_q)$
      • $f$为像素点集 $P$到标记集 $L$的映射，前一项表示单个像素的标记代价，后一项表示相邻像素的标记代价 ——可以探索高阶模型
      • 能量最小化的最优化模型
    • Graph Cut对应：单个代价——分类代价（越大越不可能），相邻代价——邻接边权（越大越不可能同类）
      • 两标记——最小割——最小能量函数
      • 多标记——NP问题——近似算法

  基于DNN的图像分割

  • 全卷积网络FCN
    • 相比于传统CNN，将全连接层换成卷积层
    • 上采样，由特征得到分割结果图像
    • Skip结构，综合上几层的卷积特征
  • SegNet
    • 对称的卷积网络结构
    • 对应池化——反池化（对应地上采样）
  • DeepLab
    • DNN——Coarse Score Map——BiLi Interpolation——FC CRF
    • V1：下采样造成信息损失——空洞卷积（有间隔卷积，保留更多信息，保持感受野）