近一两年计算机视觉的一大热点就是利用GAN Prior来处理各种视觉任务（主要是low-level的任务），具体是利用在大规模数据集上训练好的GAN，借助其学习到的数据分布，并协同task-specific的约束，完成特定任务，整体的思路比较有意思。
- Exploiting Deep Generative Prior for Versatile Image Restoration and Manipulation, ECCV 2020 oral
这个工作旨在挖掘预训练GAN中的图像先验的方式，无需针对特定任务的设计，实现多种图像复原（上色，补全，超分辨率，对抗防御）和图像编辑（随机扰动，图像变形，类别转换）效果。大致思路如下图所示，通过搜索隐变量z的空间，并对生成器参数空间θ进行微调，从而使采样得到的图像经过退化能够使输入的退化图像尽可能一致。对于loss，本文使用的是判别loss，并且在训练过程中，采用渐进训练的方式，先调整G的浅层权重，然后再调整深层权重。最终得到的效果相当不错，值得借鉴。
- Image Processing Using Multi-Code GAN Prior, CVPR 2020
本工作利用训练好的GAN模型来进行图像处理，包括image colorization, super-resolution, image inpainting, and semantic manipulation等多个任务。具体的是，利用多个latent code从而得到多个生成器的中间特征，并通过设置adaptive channel importance来对图像进行重构。
- Encoding in Style: a StyleGAN Encoder for Image-to-Image Translation, arXiv2020
本文是利用训练好的StyleGAN来进行Image-to-Image的变换，为此提出了Pixel2Style2Pixel (pSp)的模型，如下图所示。该方法与上面的方法不同点在于，pSp首先采用了一个网络进行style的提取，然后将style嵌入到styleGAN中，完成图像的变换。
参考
知乎博文：ECCV2020 Oral | Deep Generative Prior：实现通用的图像复原与编辑