传统的图形学和视觉的研究方法，主要还是基于数学和物理的方法。然而随着近几年深度学习在视觉领域取得的卓越的效果，视觉领域研究的前沿已经基本被深度学习占领。在这样的形势之下，越来越多的图形学研究者也开始将目光投向深度学习。在图形学和视觉交叉的领域，一系列问题的研究正在围绕深度学习火热展开，特别是在图像编辑(image editing)和图像生成(image generation)方面，已经初见成效。今天我们讨论的问题，图像补全(image inpainting)，正是介于图像编辑和图像生成之间的一个问题。
图像补全最初是一个传统图形学的问题。问题本身很直观：在一幅图像上挖一个洞，如何利用其它的信息将这个洞补全，并且让人眼无法辨别出补全的部分。这个问题对我们人类似乎很容易，比如下面这个洞，大家很容易脑补出洞里应该有窗户和门，背景是墙，如果还有一些绘画天赋的话，大概就能想象着把它补出来。但是这个任务对于计算机却显得格外困难，首先这个问题没有唯一确定的解，其次如何利用其它的信息？如何判断补全结果是否足够真实？
以深度学习为代表的机器学习，正在逐渐席卷整个图形学研究领域。研究者们逐渐发现，当传统的基于物理的模型发展遇到瓶颈的时候，机器学习的方法也许能够帮助我们解释这些复杂的数理模型。毕竟只有理解了图像的深层结构，才能更好地指导图像的生成和处理。
文章推荐
1. CVPR 2016的Context-Encoders（CNN+GAN， 鼻祖级的 NN修复方法）
链接： Feature Learning by Inpainting;
Github代码:
pathak22/context-encodergithub.com
2. CVPR 2017的High Resolution Inpainting(Context-Encoders+CNNMRF)
链接： High-Resolution Image Inpainting using Multi-Scale Neural Patch Synthesis;
Github代码:
leehomyc/Faster-High-Res-Neural-Inpaintinggithub.com
3. ICCV 2017的on demanding learning(感觉也是Context-Encoders的衍生版...)
链接：
On-Demand Learning for Deep Image Restoration，
Github代码:
rhgao/on-demand-learninggithub.com
4. SIGGRAPH 2017 (ACM ToG)的Globally and Locally Consistent Image Completion
(CE中加入Global+Local两个判别器的改进)，
Github代码:
https://github.com/satoshiiizuka/siggraph2017_inpaintinggithub.com
5. ICLR 2018的New AI Imaging Technique Reconstructs Photos with Realistic Results
Image Inpainting for Irregular Holes UsingPartial Convolutions
号称秒杀PS的AI图像修复神器，来自于Nvidia 研究团队。引入了局部卷积，能够修复任意非中心、不规则区域），代码还没有放出来
[1804.07723] Image Inpainting for Irregular Holes Using Partial Convolutionsarxiv.org
6. CVPR 2018的Generative Image Inpainting with Contextual Attention，
一作大佬jiahui Yu 后续还有个工作: Free-Form Image Inpainting with Gated Convolution,
Github代码：
JiahuiYu/generative_inpaintinggithub.com
7. 哈工大左旺孟老师他们也有一篇Shift-Net: Image Inpainting via Deep Feature Rearrangement
效果也不错，代码还没有放
8.Deep image prior
项目主页：https://dmitryulyanov.github.io/deep_image_prior
适用场景：
1）难以建模图像退化过程
2）难以得到训练图像进行监督训练
9.
ECCV 2018的Contextual-based Image Inpainting，inpainting大佬Chao Yang(NPS的一作)等人的又一力作:
Contextual-based Image Inpaintingarxiv.org
参考链接：
1.https://www.zhihu.com/question/56801298
2.https://blog.csdn.net/muyiyushan/article/details/79093806