1、SRGAN
论文题目：Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial
论文链接：https://arxiv.org/abs/1609.04802
论文代码：https://github.com/JustinhoCHN/SRGAN_Wasserstein
超分辨率重建就是将低分辨率图像恢复成对应的高分辨率图像。但是由于低分辨率图像信息的缺失，这是一个病态的求逆问题尤其是在恢复的倍数较高的时候。传统的方法考虑加入一些先验信息以恢复高分辨率图像（如插值法）还有基于回归方法的随记森林也可以用于超分问题稀疏学习，CNN在超分上也取得了非常好的效果，特别是CNN，使得超分已经可以达到实时应用。
作者用sub-pixel网络作为生成网络，用VGG作为判别网络构建GAN得到了非常好的结果，但这个用的是逐像素差作为损失函数。之后作者尝试了自己提出的感知损失函数作为优化目标，虽然PSNR和SSIM不高，但是视觉效果都要优于其他网络，避免了其他方法的过度平滑的特性。
主要有两点：
提出的SRResNet取得了state-of-art的结果，将感知损失引入GAN，实现了4倍超分辨率重建。
2、ASDN
论文题目：Hard Positive Generation via Adversary for Object Detection
论文地址：https://arxiv.org/pdf/1704.03414.pdf
论文代码：https://github.com/xiaolonw/adversarial-frcnn
ASDN网络使用RoI池层提取的功能作为输入图像补丁。 ASDN网络比预测遮挡/退出掩码，然后将其用于丢弃特征值并传递到Fast-RCNN的分类塔。对抗空间丢弃网络（ASDN），它学习如何封闭给定的目标，使得FRCN难以对其进行分类。我们在本文中考虑的第二种类型的生成是变形。在这种情况下，我们提出了对抗空间变换网络（ASTN），它学习如何旋转物体的“部件”，使其难以被检测器识别。通过与这些网络的竞争和克服障碍，FRCN学会以鲁棒的方式处理物体遮挡和变形。请注意，所提出的网络ASDN和ASTN在训练期间与FRCN一起同时学习。联合训练能防止检测器对固定生成的特征产生过拟合。
相比于在输入图像上产生遮挡和变形，我们发现在特征空间上的操作更有效率。因此，我们设计对抗网络来修改特征，使目标变得更难识别。请注意，这两个网络仅在训练过程中应用才能改进检测器。我们将首先单独介绍ASDN和ASTN，然后在统一的框架中将它们组合在一起。在RoI-pooling层之后获得每个前景目标候选区域的卷积特征。我们使用这些基于区域的特征作为对抗网络的输入。对于一个目标的特征，ASDN将尝试生成一个掩码，指示要丢弃的特征的哪些部分（分配零），以便检测器无法识别目标。对抗空间变换网络（ASTN）
我们现在介绍对抗空间变换网络（ASTN）。我们的关键思想是在目标特征上创建变形，并使检测器的目标识别变得困难。我们的网络建立在[14]中提出的空间变换网络（STN）上。 在他们的工作中，STN被提出来使特征变形，使分类更容易。而我们的网络正在完成相反的任务。通过与我们的ASTN网络竞争，我们可以训练一个更好的对变形具有鲁棒性的检测器。
STN概述。空间变换网络[14]有三个部分：定位网络，网格生成器和采样器。对于输入的特征图，定位网络将估计要变形的量（例如，旋转度，平移距离和缩放因子）。这些变量将被用作在特征图上的网格生成器和采样器的输入。输出是变形的特征图。请注意，我们只需要了解定位网络中的参数。STN的关键贡献之一是使整个过程是可微分的，从而可以通过反向传播直接优化分类目标的定位网络。有关更多技术细节，请参阅[14]。
对抗STN。在我们的对抗空间变换网络中，我们专注于特征图旋转。也就是说，在RoI-pooling层后给出了一个特征图作为输入，我们的ASTN将学习旋转特征图，使其更难识别。我们的定位网络由3个完全连接的层组成，其中前两层使用来自ImageNet预训练网络的fc6和fc7层进行初始化，就像我们的对抗空间丢弃网络一样。
我们共同训练ASTN和Fast-RCNN检测器。对于训练检测器，类似于ASDN中的过程，RoI-pooling之后的特征首先由ASTN进行转换，并转发到较高层以计算SoftMax损失。为了训练ASTN，我们优化它以便检测器将前景目标分类为背景类。与ASDN不同，由于空间变换是可以微分的，我们可以直接使用分类损失来对ASTN的定位网络中的参数进行回溯和微调。
实现细节。在我们的实验中，我们发现限制ASTN的旋转度非常重要。否则，很容易将目标上下颠倒，这在大多数情况下是最难识别的。我们将旋转度限制在顺时针和逆时针10度以内。相比于沿同一方向旋转所有特征图，我们将通道尺寸上的特征图划分为4个块，并为不同的块估计4个不同的旋转角度。由于每个通道对应于一种类型的激活特征，旋转通道分别对应于导致变形的不同方向的物体的旋转部分。我们还发现，如果我们对所有特征图使用一个旋转角度，ASTN将经常预测最大的角度。通过使用4个不同的角度而不是一个，我们增加了任务的复杂性，防止网络预测琐碎的变形。
2.3 对抗融合
两个对抗网络ASDN和ASTN也可以在同一个检测框架中组合在一起并联合训练。由于这两个网络提供不同类型的信息。通过同时竞争这两个网络，我们的检测器变得更加健壮。
我们将这两个网络以顺序的方式组合到Fast-RCNN框架中。 如图4所示，在RoI-pooling之后提取的特征映射首先进入到我们的ASDN，ASDN会删除一些激活值。修改后的特征由ASTN进一步变形。
ASDN分析。我们比较我们的对抗空间丢弃网络与使用AlexNet架构的训练中的各种丢弃/遮挡策略。我们尝试的第一个简单基线是RoI-Pooling后的特征的随机空间丢弃。为了公平的比较，我们屏蔽了与ASDN网络中相同数量神经元的激活值。如表2所示，随机丢失的表现为57.3％mAP，略好于基线。我们比较的另一个丢弃策略是我们在训练ASDN时应用的类似策略（图3）。我们详细列举了不同种类的遮挡，并在每次迭代中选择最好的遮挡进行训练。表现为57.7％的mAP（Ours（hard dropout）），略好于随机丢弃。
我们发现穷举策略只能探索非常有限的遮挡策略空间，我们使用预先训练的ASDN网络来代替它。然而，当我们固定ASDN的参数时，我们发现性能是57.5％的mAP（Ours（fixed ASDN）），这不如穷尽的策略。原因是固定的ASDN没有收到更新Fast-RCNN的任何反馈，而详尽的搜索得到了反馈。如果我们一起共同学习ASDN和Fast-RCNN，我们可以获得58.5％的mAP，与没有丢弃策略的基线相比，mAP提高1.5％。这个证据表明，ASDN和Fast-RCNN的共同学习是有所不同的。
ASTN分析。我们将对抗空间变换网络与目标候选区域的随机抖动进行了比较。增强包括对Fast-RCNN进行训练的尺寸的随机变化，纵坐标和旋转。使用AlexNet，使用随机抖动的性能为57.3％mAP，而ASTN结果为58.1％。使用VGG16，随机抖动有68.6％ｍAP而ASTN有69.9％mAP。对于这两种架构，ASTN的模型比随机抖动更好。
简单的阅读OHEM
论文代码：https://github.com/abhi2610/ohem