利用几何变换进行深度异常检测
Abstract
- 针对图像中的异常检测问题，提出了一种新的检测方法。给定一个样本图像，所有已知的属于一个正常的类(例如，狗)，我们展示了如何训练一个深度神经模型，可以检测出分布外的图像(例如，狗)。non-dog对象)。我们的方案背后的主要思想是训练一个多类模型来区分应用于所有给定图像的几十个几何变换。该模型学习到的辅助知识生成特征检测器，在测试时根据模型的softmax激活统计信息对转换后的图像进行有效识别异常图像。我们提出了广泛的实验使用提出的检测器，这表明我们的技术不断地改进了所有已知的算法的广泛边缘。
Introduction
-
未来的机器学习应用，如自动驾驶汽车或家用机器人，将不可避免地遇到各种风险，包括统计上的不确定性。为了便于使用，这些应用程序应该尽可能健壮地应对此类风险。其中一个风险是由于分布差异或嘈杂的观测而暴露于统计错误或不一致。众所周知的异常/新颖性检测问题突出了其中的一些风险，其解决对于任务关键型机器学习应用程序至关重要。虽然异常检测在文献中已经被考虑了很长时间，但是在深层神经模型的背景下对这个问题的结论性理解是非常缺乏的。例如，在机器视觉应用中，我们的实验表明，现有的新奇检测方法在某些问题上表现较差。
-
在基本异常检测问题中，我们有一个来自于某个分布的正常实例类的样本，目标是构造一个能够检测出分布异常实例[5]的分类器。这个基本异常检测问题有相当多的变体。例如，在阳性和未标记的版本中，我们得到了来自正常类的样本，以及被异常实例污染的未标记的样本。事实证明，这种污染样本变体比问题的纯版本(从可以实现更好的性能的意义上说)更简单。在本文中，我们将重点放在异常检测的基本(和更复杂的)版本上，只考虑深度模型(如卷积神经网络)必不可少的机器视觉应用。
-
有一些工作是处理图像背景下的基本的、纯粹的样本异常检测问题。其中最成功的结果是报告的方法依赖于以下两种总体方案之一。第一个方案由分析重构中的错误的方法组成，这些方法要么基于自编码器，要么基于经过正常类训练的生成对抗模型(GANs)。在前一种情况下，重建缺陷的测试点表明异常。在此基础上，利用优化算法求出发电机的近似逆，从而估计测试实例的重构误差。第二类方法利用在普通类上训练的自动编码器来生成低维嵌入。为了识别异常，可以使用这种嵌入的经典方法，如低密度拒绝[8]或单类SVM[26,27]。该方法的一个更高级的变体使用一个适当的成本函数将这两个步骤(编码和然后检测)结合起来，该函数用于训练执行这两个过程的单个神经模型。
-
在本文中，我们考虑一种完全不同的方法，即完全绕过重构(如自动编码器或GANs)。提出的方法是基于这样的观察:学习区分应用于普通图像的许多类型的几何变换，鼓励学习对新奇性检测有用的特征。因此，我们在一个自标记数据集上训练一个多类神经分类器，该数据集是由常规实例及其转换后的版本创建的，通过应用大量几何变换获得。在测试时，将该判别模型应用于测试实例的变换实例，并利用正常序列图像的softmax响应值的分布对新奇性进行有效的检测。我们的方法背后的直觉是，通过训练分类器来区分转换后的图像，它必须学习显著的几何特征，其中一些可能是单一类独有的。
-
我们对所提出的方法进行了大量的实验，并将其与几种最先进的纯异常检测方法进行了比较。我们在几个图像数据集(如CIFAR-100)上使用one-vs-all模式评估性能，据我们所知，这些数据集在此之前从未考虑过。我们的结果压倒性地表明，所提出的方法比现有的最佳方法取得了显著的改进。例如，在CIFAR-10数据集(10个不同的实验)上，我们将最高执行基线AUROC平均提高了32%。在CatsVsDogs数据集中，我们将最高性能基线AUROC提高了67%。
Discriminative Learning of an Anomaly Scoring Function Using Geometric Transformations
- 如上所述，我们的目标是以一种有区别的方式来学习评分函数nS(如第3节所述)。为此，我们使用几何变换T类，从初始训练集S创建一个自标记的图像数据集。创建的数据集(记为ST)是通过将T中的每个几何变换应用于S中的所有图像而生成的，其中我们将每个变换后的图像标记上所应用的变换的索引。该过程创建一个自标记的多类数据集(使用jT j类)，其基数为jT jjSj。ST创建后，我们训练了一个多类图像分类器，其目标是对每一幅图像在T中生成变换的索引进行预测。在推理时，给定一个未知的图像x，我们首先对它应用每个变换，然后对每个jT j变换后的图像应用分类器，来判断它是否属于正常类。每个这样的应用都会产生一个大小为jT j的softmax响应向量。最终的正态性评分是使用这些向量在正常softmax向量的估计分布下的组合日志-似然值来定义的(参见下面的详细信息)。
创建和学习自标记的数据集
Conclusion
- 提出了一种新的图像异常检测方法，该方法对学习后的训练数据进行有意义的识别。该方法计算效率高，易于实现，是一种多类分类任务。与目前最著名的方法不同，我们的方法完全减轻了对生成组件(自动编码器/GANs)的需求。最重要的是，我们的方法通过对现有的最佳异常检测方法的显著改进，显著提高了技术水平。我们的研究结果为未来的研究开辟了许多途径。首先，开发一个基于几何变换的理论是很重要的。研究选择最适合给定训练集的转换的可能性是很有趣的，这可能需要对异常样本的先验知识。另一种方法是显式地优化转换集。由于我们的方法的有效性，很容易尝试将其应用于其他应用程序，例如开放世界场景，甚至可能使用它来改进多类分类性能。最后，尝试使用我们的技术来利用深度不确定性估计[12,11]和深度主动学习[10]将是很有趣的。
