Context Encoders: Feature Learning by Inpainting

1.论文题目:Context Encoders: Feature Learning by Inpainting

论文来源:2016 CVPR

(1)所解决问题

通过基于上下文像素预测驱动的无监督的视觉特征的学习算法,利用周围的图像信息来推断缺失的图像

本文的上下文编码器需要解决一个困难的任务:填补图像中大量缺失的区域,而这些区域无法从附近的像素中获得“提示”。

(2)所构建网络

主要思路:

主要思路是结合Encoder-Decoder 网络结构和 GAN (Generative Adversarial Networks),Encoder-Decoder 阶段用于学习图像特征和生成图像待修补区域对应的预测图,GAN部分用于判断预测图来自训练集和预测集的可能性,当生成的预测图与GroundTruth在图像内容上达到一致,并且GAN的判别器无法判断预测图是否来自训练集或预测集时,就认为网络模型参数达到了最优状态

上下文编码器。上下文图像通过编码器获得连接到解码器的特征,解码产生图像中缺失的区域。

 

网络框架

网络训练的过程中损失函数都由两部分组成:Encoder-decoder 部分的图像内容约束(Reconstruction Loss)GAN部分的对抗损失(Adversarial Loss)。Context Encoders 采用最简单的整体内容约束,也就是预测图与原图的l2 距离。

(3)评价指标

文章使用来自两个数据集的图像进行实验:不使用任何附带的标签的Paris StreetView和ImageNet。

扫描二维码关注公众号,回复: 4252155 查看本文章

文章从两个方面显示了其优越性,一方面为上下文编码器在填充缺失区域的能力,另一方面使用上下文编码器作为图像分类、目标检测和语义分割的前训练步骤,演示了其学习到的特征可以转移到其他任务。文章将这些任务的结果与其他无监督或自监督方法的结果进行比较,证明其方法优于以前的方法。

缺失修复结果对比

定量对比其在分类,检测等任务中的作用

(4)源代码

lua官方版本

tensorflow版本(未实现全部功能)




链接:https://www.jianshu.com/p/e1b9619be6e9%20
 

猜你喜欢

转载自blog.csdn.net/zhuimengshaonian66/article/details/83662159