语义分割-Deeplab1|2|3, CRF as RNN介绍

只整理关键点


属于语义分割范畴,语义分割需要分割每个像素到指定类别上,并组合成几个有意义的目标,打上标签,应用场景:

  1. 自动驾驶
  2. 医疗辅助

deeplab1 & 2

  1. dcnn 粗分割,计算大致位置
  2. CRF 精分割

标准的 dcnn 输出特征分辨率小+对输入变换具有内在不变性,deeplab 引入了空洞卷积(atrous conv, 解决分辨率问题)+ CRF(解决精分割问题)。

CRF 意在给相邻的像素进行建模,相近的像素更可能是同一个 label,定义每个像素属于某个 label 的概率,通过迭代来优化结果。

deeplab1是在 VGG16 的基础上做了修改和 finetune.
deeplab2做出的改进是采用 ASPP 引入了多尺度,将基础层 VGG16改成了 ResNet,并使用率不同的学习策略(poly)【这里起始看效果,CRF 起到的作用相比 v1 已经很弱了】
deeplab3提出更通用的框架,适用任何网络,在 ASPP 中使用率 BN 层,没有使用 CRF

CRF as RNN

核心是把CRF的求解推理迭代过程看成了RNN的相关运算,嵌入CNN模型中,达到了真正的算法之间的融合。
先要了解 FCN,稀疏/稠密条件随机场在图像分割中的应用。

FCN 的结果粗糙,原因在于:

  1. CNN 感受野过大
  2. CNN缺少对空间和边缘信息的约束

此算法的核心就是讲 FCN 粗分割与 CRF 精分割融合到一起,把CRF的学习、推理过程看成是RNN,然后嵌入CNN模型中,搞出了一个新的招式,完成了端到端的训练、预测。

参考deeplab 系列
参考2

猜你喜欢

转载自blog.csdn.net/u012384285/article/details/91489415
CRF
今日推荐