CutPaste:Self-Supervised Learning for Anomaly Detection and Localization
CutPaste:用于异常检测和定位的自监督学习
文章地址 + 代码地址：CutPaste: Self-Supervised Learning for Anomaly Detection and Localization | Papers With Code
这种数据增强方式对其他的任务同样有用吗？
自监督学习体现在哪里？
不过也有一些值得改进的地方，比如object类随机的cutpaste有可能直接把背景区域又粘贴在背景上？这样强行把他们分成不同的类别是否会损害表征的学习呢？这种增广形式又是否能很好地适应于每个任务呢？
其实文章也告诉我们答案了，对于object的某些类，效果确实就是不好（甚至在fine-tuning的时候效果反而比pre-trained更差了）
本文的概括
本文目标是构建一个用于缺陷检测的高性能模型，该模型在没有异常数据的情况下检测图像的未知异常模式（仅使用正常训练数据构建异常检测器）。
自监督学习中pretext task的思路分为 two-stage：
（a）基于自监督学习和 CutPaste 数据增强的图像表示学习，对正样本采用cutpaste生成图像，训练一个二分类CNN，识别正常样本，及添加cutpaste后的图像。
（b）在异常检测及定位阶段，CNN用来提取特征，高斯概率密度估计（GDE）使用CNN提取的特征计算异常分数，图像级别的异常检测可以使用GradCAM大致定位异常区域，patch级别的异常定位，对原图分割成若干patch，分别送到CNN--GDE计算异常分数，得出更细粒度异常热力图。
论文中提出了一种高性能的图像缺陷异常检测模型，可以不依赖于异常数据来检测未知的异常模式。框架整体属于 two-stage：
首先通过自监督学习方法来学习正常图像的表示，然后基于学习到的图像表示来构建单分类器。CutPaste 技术主要是通过图片剪切然后再粘贴至其它位置来构造负样本。实验部分在 MVTec 数据集中验证了模型对图片缺陷检测的有效性，如果不使用预训练那么可以比当前 baselines 的 AUC 提升 3.1 ，如果基于 ImageNet 进行迁移学习那么 AUC 可以达到 96.6。
Figure 1: (a) A deep network (CNN) is trained to distinguish images from normal (blue) and augmented (green) data distributions by CutPaste (orange dotted box), which cuts a small rectangular region (yellow dotted box) from normal data and pastes it at random location. Representations are trained either from the whole image or local patches. (b, top) An image-level representation makes a holistic decision for anomaly detection and is used to localize defect via GradCAM [51]. (b, bottom) A patch-level representation extracts dense features from local patches to produce anomaly score map, which is then max-pooled for detection or upsampled for localization [32].
(A)通过CutPaste(橙色虚线框)对深度网络(CNN)进行训练，以将图像与正常(蓝色)和增强(绿色)数据分布区分开，cut paste从正常数据中剪切一小块矩形区域(黄色虚线框)并将其粘贴在随机位置。从整个图像或局部小块中训练表示。(b，顶部)图像级表示为异常检测做出整体决定，并通过GradCAM [51]用于缺陷定位。(b，底部)小块级表示从局部小块中提取密集特征以产生异常得分图，然后最大化汇集该异常得分图用于检测或上采样用于定位[32]。
数据增强除了 CutPaste 还有很多形式，论文中比较了不同 aug 方法的效果如下：
Figure 2: Visualization of (a, green) normal, (b, red) anomaly, and (c–h, blue) augmented normal samples from bottle, toothbrush, screw, grid, and wood classes of MVTec anomaly detection dataset [5]. Augmented normal samples are generated by baseline augmentations including (c) Cutout and (d) Scar, and our proposed (e) CutPaste and (f) CutPaste (Scar). We use red arrows in (f) to highlight the pasted patch of scar shape, a thin rectangle with rotation.
文章中使用的数据增强方法cutpaste和cutpaste（scar）是有cutout和scar启发而来，对于MVTec AD dataset，或者实际的缺陷检测任务，缺陷一般含有拉伸变形，特殊的纹理构造。作者对正常样本使用cutpaste的目的是希望在正常样本的表征学习中，能够通过cutpaste模拟异常样本。
上图展示了正常样本、异常样本以及Cutout和CutPaste等数据增广方法。作者首先将Cutout应用到两阶段框架中，这看起来似乎是一个可以用简单滤波器就能解决的分类问题，但令人意外的是其竟然可以学习到一些判别性特征，用于异常检测。因此作者将任务变得更难，更改尺度以及变换颜色(Scar)，这进一步提升了性能。
作者在此基础上进一步提出了CutPaste：
1. 从原图中以某个面积比和长宽比剪切一小块矩形区域；
2. 对这个图像块进行选择和颜色抖动；
3. 粘贴回原图的某个位置。
此外，也产生了scar变体，虽然这两个操作很相似，但产生的图像效果却很不一样，因此采用3分类，将Cutpaste和Cutpaste-scar视为两个类，效果又得到了进一步提升。
理论分析
CutPaste的成功可以从两方面分析：
1、一是从异常曝光(outlier exposure)的角度，相比使用自然图像作为异常样本，CutPaste直接在训练时构建，并且任务更难，这进一步促使模型去学习这种不规律性。
2、另一方面，CutPaste可以看作是一种对于真实异常的模拟，从t-SNE图可以看出，构造的CutPaste虽然与真实异常样本没有重叠，但它却很好地拉远了正常样本和异常样本在特征空间上的距离。（但是这也导致了一些思考：作者使用可视化技术发现，添加cutpaste后的正样本与原始正样本距离较大，但是与真实的异常样本接近度较小，说明仍需要更好的数据增强方法。）
Figure 3: We plot embeddings of normal (blue), anomaly (red), and augmented normal by CutPaste (“Patch”, green) and CutPaste-scar (“Scar”, yellow).
后经不同数据增强方法的消融实验，以及语义异常检测数据集上的实验之间进行对比和缺陷定位，作者对 MVTec 异常检测数据集的实证研究表明：
- 所提出的算法是通用的，能够检测各种类型的现实世界缺陷。当从头开始学习表示时，将以前的艺术改进了 3.1 AUC；
- 通过在 ImageNet 上对预训练表示进行迁移学习，本文实现了新的最先进的 96.6 AUC；
- 本文扩展了框架以从补丁中学习和提取表示，以允许在训练期间定位有缺陷的区域而无需注释。
- 作者使用可视化技术发现，添加cutpaste后的正样本与原始正样本距离较大，但是与真实的异常样本接近度较小，说明仍需要更好的数据增强方法。