论文总结|Inpainting
ICCV2019
| Paper | Kernel |
|---|---|
| Coherent Semantic Attention for Image Inpainting [paper][code] |
Solution: the discontinuity of the local pixels。即以往的图像修复，往往没有考虑像素之间的连续性，映射到语义上来说就是没有考虑特征的连续性，从而导致色彩的断层或者线条的断层。 Coarse to fine的网络 Contribution: 1. Coherent semantic attention ，Search and Generate 对hole中每个点找到最相关的上下文区域并替换，直至所有hole区域被上下文填满。然后进行生成，采用光标扫描的方式从上至下从左至右进行， mn会包含mn-m1的信息，并且随着距离的增长，补丁之间的关系会越弱。 2. Consistency loss ，用VGG提取原图的特征空间，并将这个特征空间作为CSA层和其对应的解码器层的标签并计算L2距离。 |
| StructureFlow: Image Inpainting via Structure-aware Appearance Flow [paper][code] |
Solution: 长程相关性无法有效表示、边缘信息无法有效携带纹理。怎样生成正确完整的结构和视觉效果较为真实的细粒度细节纹理。 Coarse to fine网络(结构重建和纹理生成网络) Contribution: 1. Structure reconstructor，用于生成边缘保留的平滑图像作为全局结构信息。 2.Appearance flow，从具有相似结构的区域中采样特征。使用高斯采样代替双线性采样，扩展采样操作的接收范围。并引入新的采样正确性损失，确定是否对正确的区域进行了采样。 |
| Progressive Reconstruction of Visual Structure for Image Inpainting [paper][code] |
Solution: 在带有小孔的图像上效果很好，但恢复大孔仍然很困难。 End to end 网络(但需要输入structure edge) Contribution: 1. Partial Convolution 在前馈过程中跟踪mask的形状，从而能逐步重建视觉结构。 2. Visual Structure Reconstruction Layer，由structure generator 和 feature generator 构成。输入的edge通过structure generator缩小缺失区域的大小，再将更新的edge用于指导新特征的生成。 |
| Image Inpainting with Learnable Bidirectional Attention Maps [paper][code] |
Solution: 针对部分卷积存在的问题: re-normalization 不是自动学习的，mask-updating 只考虑前向传播。 End to end 网络 Contribution: 1. Learnable Attention Maps，PConv 只考虑更新 mask 中大于0的部分，而LAM是将更高的置信度赋给具有更高的Mask的区域。 2. Learnable Bidirectional Attention Maps，PConv 只考虑了 encoder 的部分卷积，而没有考虑 decoder，本文提出了逆向可学习注意力图模型，形成双向。attenttion map的正向更新的mask应用于下一个encoder layer，而attenttion map的反向更新的mask应用于前一个decoder layer。 |
| Free-Form Image Inpainting with Gated Convolution [paper][code] |
Solution: 解决了普通卷积将所有的像素视为有效像素的问题。通过为所有层中的每个空间位置的每个通道提供一个可学习的动态特征选择机制来泛化部分卷积。 Coarse to fine 网络 Contribution: 1. Gated convolution ，为所有层每一个维度的位置提供了一种可学习的,动态的特征选择机制。 2. SN-PatchGAN ，稳定GAN的训练。 |
