摘要
CNN具有非常强大的能力，然而，由于它的学习能力非常强，有时会导致过拟合现象的出现。为了解决这个问题，文章提出了一种简单的正则化方法：cutout。
它的原理是在训练时随机地屏蔽输入图像中的方形区域。它不仅容易实现，且实验证明，它能够与其它的数据增强方法一起作用，来提高模型的表现。
介绍
近些年深度学习在许多有挑战性的领域中，如目标识别、语义分割、图像描述和人类姿态评估等做出了很好的表现。而这些表现的主要贡献者就是CNN。但随着需要解决的问题的复杂性上升，CNN模型所需的资源也随之上升，且过于强大的能力也常常会导致过拟合现象的出现，并降低模型的泛用性。
为了解决这个问题，人们提出了很多不同的方法：向数据、参数、激活层审慎地加入噪音；简单且有效的数据增强方法，如水平翻转和cropping。其中一个常用的方法是dropout：它在训练时随机地丢弃一些神经元的激活层，以降低特征检测时的协同适应。
本文提出的方法类似于dropout，但有两个主要的区别：1、它丢弃的是输入图像的数据。2、它丢弃的是一整块区域，而不是单个神经元。这能够有效地帮助CNN关注不同的特征，因为去除一个区域的神经元可以很好地防止被去除的神经元信息通过其它渠道向下传递。
同时，dropout由于1、卷积层拥有相较于全连接层更少的参数，因此正则化的效果相对欠佳；2、图像的相邻元素有着很强的相关性的原因，在卷积层的效果不好。而cutout因为去除了一块区域的神经元，且它相比更接近于数据增强。因此在卷积层的效果要相对更好。
cutout提出的最初动机来源于机器视觉的一个常见的问题：目标遮挡。开始时它的思想有些接近于max drop：在每个epoch时提取并存储被激活得最多的特征，并在接下来的epoch中将其用一个特征图的均值掩膜覆盖。这样做的效果很好，但后来经过研究发现，随机擦除一个固定大小的区域的图像取得的效果和它一样好。由于后者更为简单些，因此作者最终采取了这种做法。
实现细节
作者发现，比起形状，cutout区域的大小更为重要。因此为了简化，他们选择了方形，且如果允许cutout区域延伸到图像外，效果反而会更好。
