抠图算法Background Matting:The world is your green screen

论文地址：https://arxiv.org/abs/2004.00626

代码：https://github.com/senguptaumd/Background-Matting

背景介绍

抠图是照片编辑和视觉效果中使用的标准技术，在现有的抠图算法中，要想抠出一个好的maks一般需要三分图（trimap由前景，背景，未知片段组成）。虽然现在也有不需要三分图的算法正在发展，但是这种不需要三分图的算法，在抠图的质量与有三分图的算法没有可比性。
因此，在本算法中除了需要原图片之外，还需要一张额外的背景图片。

抠图算法的公式

$$I=\alpha F+(1-\alpha )B$$
$F$:前景图(foreground)，$B$：背景图(background)。$\alpha$：混合系数（mixing coeffcient）。$I$：图像的合成方程
当$\alpha$趋近与0的时候，就会获得背景图，相反，当$\alpha$趋近与1时，就会获得前景图。

方法介绍

核心方法
在本文中，核心是使用一个深度抠图网络G，对输入的图片进行前景色和$\alpha$进行提取，对背景色和软分割进行增强，在接上一个鉴别器网络D指导训练生成真实的结果

网络结构图

Adobe数据集上的监督训练

输入

包含对象在前景中的图像$I$(Image)，图像$I$中对应的背景图像$B^{\prime }$(Background)（这个和真实的背景图$B$不同）,对象的软分割图像$S$(Soft Segmentation)以及对象再相邻时间上的临近帧$M$(Motion Cues)。

为了生成软分割图像$S$需要对图像进行Decoder-Encoder的卷积处理后获得粗分割结果，在对图片进行腐蚀，扩张以及高斯模糊。

当选择的是视频输入时，将$M$设置为$I$前后两帧的拼接，令每一帧的时间间隔为T，则：
M = { I − 2 T , I − T , I + T , I + 2 T } M = \{I_{-2T},I_{-T},I_{+T},I_{+2T}\} M={ I−2T​,I−T​,I+T​,I+2T​}
这些图像被转化为灰度图像，以忽略颜色的信息而更多地倾向于对象的运动信息。

在没有选择视频输入时，把$M$理解为图像$I$的复制，即：
M = { I , I , I , I } M = \{I,I,I,I\} M={ I,I,I,I}

将输入集表示为 X = { I , B ′ , S , M } X = \{I,B^{\prime},S,M\} X={ I,B′,S,M},则带有权重的网络计算过程可抽象地表示为：
$$(F,\alpha )=G(X;\theta )$$

内容切换块（Context Switching Block）

聚焦于网路图左边部分：

输入的内容$X$对应图中左边的四个部分，分别采用不同的Enocder对各自部分的图像进行编码，最终各自生成对应的通道数为256的feature map。接着使用Selector块将来自I的feature map与$B^{\prime },S,M$中的每一个部分分别组合，最终生成三个通道数为64的feature map。

Selector块由：1x1卷积，BatchNorm和ReLU构成

接着使用Combinator(结构与Selctor一致)，将三个64通道的feature map与原始图像$I$中256通道的feature mp进行组合，以产生编码特征（encoded features），该特征被传递到网路偶的其余部分，包括残差块和decoders。

现在看网络结构的右上角部分

将拼接好的编码特征，传递到通用的残差块(ResBLKs)中，在分别经过各自的残差块进行进一步的特征提取。对于前景图部分，将原图$I$的256通道的feature map与经过残差块的feature map进行融合，输入到Decodor中，将前景分割出来，同时将$\alpha$遮罩（alpha matte）的部分进行解码，在讲两者结合通方程：
$$I=\alpha F+(1-\alpha )F$$
生成图像，与原图像进行对比从而优化网络。

在这个过程中$B^{\prime }$的获取不是真实的$B$，而是通过对前景区域部分进行小伽马校正$\gamma \sim \mathcal{N}(1,0.12)$或者通过添加高斯噪声$\eta \sim \mathcal{N}(\mu \in [-7,7],\sigma \in [2,6])$来生成的。

在最后的运动线索中，合成到背景上之前，对前景和$\alpha$遮罩进行随机仿射变换，然后转化为灰度图。为了计算I和M，最后是用B（真实的背景图）来应用到图像合成方程中，但是，最初输入进网络的仍然是$B^{\prime }$。

最后训练网络$G_{Adobe}=G(X;{\theta }_{Adobe})$的损失函数为：
$$L=\underset{{\theta }_{\text{Adobe }}}{\min }{E}_{X\sim p_X}[{\Vert \alpha -{\alpha }^{\ast }\Vert }_1+{\Vert \nabla (\alpha )-\nabla \left({\alpha }^{\ast }\right)\Vert }_1+2{\Vert F-F^{\ast }\Vert }_1+\Vert I-\alpha F-(1-\alpha )B{\Vert }_1]$$

未标记真实数据的对抗训练

对于未标记的数据来说，在图像的细节部分，比如人的手指，头发以及和背景色相近的前景色区域。在这些区域的表现一般都会比较粗糙。举个例子，原来抠图的图像前景中，掺杂着一部分的背景色，对抗训练就是为了解决这个问题而设计的一个网络。

算法采用的是LS-GAN框架来训练生成器$G_{Real}$和判别器$D$,为此，对生成器来说，要更新参数，使得以下式子最小化：
min ⁡ θ R e a l E X , B ˉ ∼ p X , B ˉ [ ( D ( α F + ( 1 − α ) B ˉ ) − 1 ) 2 + λ { 2 ∥ α − α ~ ∥ 1 + 4 ∥ ∇ ( α ) − ∇ ( α ~ ) ∥ 1 + ∥ F − F ∥ 1 + ∥ I − α F − ( 1 − α ) B ′ ∥ 1 } ] \min _{\theta_{\mathrm{Real}}} \mathbb{E}_{X, \bar{B} \sim p_{X, \bar{B}}}\left[(D(\alpha F+(1-\alpha) \bar{B})-1)^{2}\right.+\lambda\left\{2\|\alpha-\tilde{\alpha}\|_{1}+4\|\nabla(\alpha)-\nabla(\tilde{\alpha})\|_{1}\right.\left.\left.+\|F-F\|_{1}+\left\|I-\alpha F-(1-\alpha) B^{\prime}\right\|_{1}\right\}\right] θReal​min​EX,Bˉ∼pX,Bˉ​​[(D(αF+(1−α)Bˉ)−1)2+λ{ 2∥α−α~∥1​+4∥∇(α)−∇(α~)∥1​+∥F−F∥1​+∥I−αF−(1−α)B′∥1​}]
其中，$\bar{B}$表示生成器D中看到的合成背景，设置$\lambda$从0.05向每两轮之间衰减$\frac{1}{2}$，使得判别器发挥更重要的作用，尤其是对图像的锐化。

对于判别器来说，也要更新参数，使得一下式子最小化：
$$\underset{{\theta }_{\mathrm{D}\mathrm{i}\mathrm{s}\mathrm{c}}}{\min }{\mathbb{E}}_{X,\bar{B}\sim p_{X,\bar{B}}}\left[(D(\alpha F+(1-\alpha )\bar{B}){)}^2\right]+{\mathbb{E}}_{I\in p_{\text{data }}}\left[(D(I)-1{)}^2\right]$$

${\theta }_{Disc}$代表的是生成器的权重，与$(F,\alpha )=G(X;{\theta }_{Real})$中的含义相同

在后处理过程中，设置$\alpha$的阈值为$\alpha >0.05$并提取前N个最大的相连组间，为每一个不在这些组间中的像素将$\alpha$值设置为0。其中，$N$是图像中不相交的人物分割的数量。

对生成器与判别器部分的网络结构解析

如下图所示：

首先输入还是和之前的格式一样，首先是用生成器网络$G_{Real}$和初始网络$G_{Adobe}$分别生成前景$F$和系数$\alpha$，通过对比两个生成器的$F$和$\alpha$进行参数调整。

接着使用背景图$\bar{B}$与生成器生成的$F$和$\alpha$通过合成公式生成图像，在经过判别器（Discriminator）进行判断，通过自监督对抗损失(Self-Supervised Adversarial Loss)进行优化。