GAN最新论文解读

GAN Dissection: Visualizing and Understanding Generative Adversarial Networks

论文地址:

https://arxiv.org/pdf/1811.10597.pdf

GitHub code:https://github.com/CSAILVision/gandissect

首先要介绍的是第一篇,这篇文章的对于GAN的可解释性研究有较大贡献,我把它称为可控GAN。主要看点在于,之前的GAN我们我们可以生成非常逼真的图像,虽然我们可以一定程度上选择生成的多样性,但是我们不能控制生成的对象里面包括哪些,又包括哪些。因为我们不知道GAN里面究竟是如何控制每个类别!

而这篇文章的方法不仅能够控制是否包含某个类别,还能控制生成该类别的数量,如下图所示:

从左到右,控制生成的树的数量由多到少,直到一棵树都没有。这就是这篇文章的突破性的之处,这项研究向理解GAN迈出了非常重要的一步。

这是该文章的demo,大家可以自己体验一下,它不仅可以控制生成什么,不仅可以控制生成多少,还能控制生成的位置(我刚试时有点激动):

http://gandissect.res.ibm.com/ganpaint.html?project=churchoutdoor&layer=layer4

从视频中可以看到,他可以做到增加某些类别,去除某些类别,也就是GAN已经成为可控的。想想真的有些激动(感觉应用前景很大,比传统的P图快太多,而且更逼真)。

上面介绍这篇文章方法的强大之处,下面介绍它是如何实现的。

具体实现分为两个步骤:解剖(Dissection)和干预(Intervention),为每个类别寻找一套“因果”单元。

首先是第一个阶段:解剖

看着上面的图来讲更直观,整个结构的目的是找出特征图中,具体哪些通道和生成的某个类别的关系,而想要达到控制这个类的生成效果,那么这个关系可以称为因果关系。

更具体地,我们要找出生成图X和特征图r的哪些通道有关。SC(X)是X的语义分割结果只取一个类,即为一个二值图;

取特征图r的某一个通道(文中称为单元),先进行上采样恢复到原始图像尺寸,然后对其进行阈值处理以确定哪个像素被该特定单元“点亮”。阈值通过下面这个公式计算:

得到了右上角的图和右下角的二值图,我们就可以衡量该通道的特征和该类别的空间一致性。判别指标采用IOU:

V代表或运算,另一个是与运算,r(u,p)的箭头指上采样操作。

经过,第一阶段解剖过程,我们知道哪些通道的特征和类别的对应关系,接下来就是如何去干预这个特征,从而通过控制这些特征控制生成。

第二个阶段:干预

猜你喜欢

转载自blog.csdn.net/qq_33547191/article/details/86216704
今日推荐