《Deep Propagation Based Image Matting 》

《Deep Propagation Based Image Matting 》

1. For What Question

2. Innovation point

3. Implement

4. The structure of the paper

 

 

一、For What Question

1. 为了实现基于深度传播的图像遮罩

2. 以往方法存在的缺点：

   （1）大多数现有的现有的遮罩技术都是基于低层次的成对相似性，而这些往往是通过图像的颜色或者是手工设计的视觉特征来判断的（引出图像的遮罩是个高层次的视觉任务，关联语义分割）
   （2）以往图像遮罩的传播过程是完全独立的，使得它和深度学习无法结合

 

二、Innovation point

1. 为了处理以上存在的问题，作者提出了一个新奇的基于深度传播的图像遮罩框架，通过一个深度学习的框架将学习到的alpha matte values传播

2. 与存在的深度学习的遮罩技术的区别：

   作者级联了三大模块：
   （1）deep feature extraction module
   （2）affinity learning module
   （3）alpha matte propagation module
   三大模块都是可微的，即可以进行反向传播

3. 与其他存在的相关技术相比的几个优点：

   （1）经由深度学习的框架，以数据驱动的方式，来传播语义级的像素相似性（传统的手工设计的相似性无法充分的描述像素间的关系）
   （2）学习到的成对相似性应用到遮罩传播中，要比直接的学习相似性要好
   （3）融合了三大模块
   （4）比起直接的学习alpha matte（前景蒙版），训练时的参数维度要更少

 

三、Implement

1. 先给出实验的架构图：

   

2. 三大模块：

   （1）deep feature extraction module：深度特征提取模块，学习深度图像表示
       分为语义级的特征提取和浅层级的特征提取：
       语义级的特征提取：采用SegNet
    两部分的提取输入都是四通道的矩阵（一个原始三通道图+手工绘制trimap）
    
   （2）affinity learning module：亲和度学习模块
    亲和度模块的输入是Nn*2(Ts+Tl)，每一行存储的是邻域的像素间特征，Nn表示总的邻域像素对，论文中采用的四邻 域。（？）
    亲和度模块通过一个卷积层和指数层计算每一个邻域像素对的值。最终输出一个对称且稀疏的亲和度矩阵。整个过程   都是可微的。
   ​
   （3）alpha matte propagation module：前景蒙版传播模块

3. alpha matte propagation module：

   该模块归纳为如下公式：

   α表示alpha matte所有像素的值，ζ=D-W是一个拉普拉斯矩阵，C表示一个对角矩阵，之后作者论证了参数的可微性，使得反向传播学习得以实践。

 

四、The structure of the paper

1、摘要：
    （1）提出什么为做什么
    （2）我们的方法由什么组成，这些组成部分怎样
 （3）我们的实验结果导致了什么
 （4）我们方法的优点，特点
2、介绍：
 （1）我们处理XXX（眼球血管图像）目的是，大多数实现的方法是怎样（概括）
 （2）XXX问题是困难的，因为XXX特点。有很多处理它的方法，列举……
 （3）However，
 （4）In this paper，巴拉一段；指出自己方法的优点
3、相关工作：
 （1）总括主流的方法
 （2）概括文献（提出前人不足，后人改进）
 （3）我们从哪里收到启发，那些人的不足