Airfraft Type Recognition Based on Segmentation With Deep Convolutional Neural Networks
2018 IEEE
摘要：
飞机类型识别在遥感图像中是一个有意义的工作。由于很难获取适当的飞机代表以供识别，因此这个课题仍具有很大的挑战性。为了解决这一问题，我们提出了一种基于深度卷积神经网络的新型飞机型号识别框架。首先，设计一种飞机分割网络，得到细化的飞机分割结果，为区分不同飞机提供重要的细节。然后，提出一种关键点检测网络，用于获得飞机方向和边界框，并对分割结果进行对齐。设计了一种新的多旋转细化方法，进一步地提高了关键点的精度。最后，采用模板匹配的方法对飞机进行识别，并采用区间联合的方法对分割结果与模板的相似性进行评价。该框架利用飞机的形状和尺度信息进行识别。实验表明，该方法优于现有的方法，在具有挑战的数据集上达到了95.6%的准确率。
1.引言
飞机类型识别是遥感图像解译中一项有意义的任务。……
针对飞机型号识别问题，提出了多种有效方法。几种方法直接基于图像特征对飞机进行分类。Diao等人提出了一种基于深度信念网络 深度置信网络分类方法。Fang等人一种建立了基于矩不变和反向神经网络传播的飞机识别方法。但是，训练这些模型需要每种类型的大量数据。此外，这些模型对数据的分布十分敏感，数据的不均匀分布会导致识别精度的下降。
此外，一些研究者采用基于模板匹配的方法进行飞机类型识别。……
最近，受到深度卷积神经网络(CNNs)在图像分类任务中的巨大成功的启发。研究人员将现有的CNN架构转换成像素标记模型，如全卷积网络(FCN)，从而解决了图像分割问题。这些方法虽然分割性能优异，但需要在具有细化像素注释的大规模数据集上进行训练，获取成本较高。
为了解决这些问题，本文提出了一种基于CNNs的新型鲁棒飞机类型识别框架。首先，我们关注的是在训练阶段不使用细化标注的情况下获得更详细的飞机分割结果。卷积编码器-解码器网络被设计用来捕获粗片段。然后采用条件随机域(CRF)对分割结果进行细化。其次，为了获得更准确的方向估计，我们将方向估计转化为关键点的检测任务，构建卷积回归网络来定位飞机关键点的位置。此外，为了进一步提高关键点位置的精度，提出了一种多旋转细化(MRR)方法。最后，根据方向估计和分割结果，设计了基于模板匹配的飞机识别算法。该框架的优点如下：
（1）该方法对不平衡的数据类型分布不敏感，只需要关键点标注即可训练分割和关键点检测模型。不需要像素分割注释或飞机类型标签。
（2）具有较强的扩展性。如果我们想识别一种新型飞机，我们不需要重新训练模型。
（3）它为识别提供了更为详细的形状和尺度信息，大大提高了识别精度。实验证明了该框架的有效性。
2.提出的方法
本节讨论了所提出的飞机识别框架的结构。如图1所示，该框架由飞机分割模型、方向估计和边界定位模型以及模板匹配模型三部分组成。首先从图像中提取飞机的二值分割，实现对飞机的二值化记录。然后将分割结果垂直旋转，放置在固定大小的背景图像中间。最后，我们用标准飞机模板估计分割结果的相似性，以识别飞机的类型。我们精心设计方法，提高每一步的性能。
A 飞机分割
1.粗分割网络
2.CRF 细化
B 方向估计和边框定位
1.网络结构
2.多旋转细化
C 飞机型号识别
我们设计了一种简单有效的飞机识别模板匹配方法。为了方便将分割结果与标准模板进行匹配，首先对分割结果进行预处理。
……
3 实验
A 数据集
该数据集是由QuickBird采集。由13000张0.6 m分辨率的农作物光学卫星遥感图像组成。每个图像包含一个且只有一个完整的飞机。训练与验证数据集包含12000张图片，仅手工标注8个关键点。我们随机选择90%的图像进行训练，其余的10%图像进行验证。测试数据集包含10种不同类型的飞机。每种类型都有100张图像，所有这些图像都标有8个关键点和飞机类型。图2所示为十种飞机的实例及其模板。需要注意的是，训练数据集中有各种飞机，而不仅仅是测试数据集中的类型。但是，训练数据集在测试数据集中没有数据J型的飞机。
B 飞机分割
在这一节中，我们评估飞机分割模型的性能。图3给出了一些分割结果的例子。虽然粗分割网络的预测具有飞机的基本形状，但由于缺乏细节，其结果不能用于识别任务。然而，经过CRF的细化，预测变得更加精确，并且给出了大部分的细节。其结果足以作为飞机的代表。在Intel Xeon E5-2630处理器上使用CRF处理图像只需要0.0169s
C 方向估计和边框定位
D 飞机识别
在本节中，我们评估了所提出的飞机识别方法。首先，我们计算了分割预测和标准模板之间的平均IOU，如图6b所示，
得益于飞机分割模型和飞机关键点检测模型的良好性能，预测与相应模板之间的平均IOU比预测与其他类型模板之间的平均IOU高得多。图6c为本文方法的混淆矩阵。
结果表明，该方法可以利用形状和比例尺信息对尺寸差异较大的飞机和尺寸相似的飞机进行区分。值得注意的是，即使J型飞机从未出现在训练数据集中，由于所提出框架的可扩展性，J型飞机的识别精度仍然可以达到98%。
然后我们将所提出的方法与其他先进的方法进行了比较。表2显示了不同方法的结果。
本文使用了相同的训练和测试数据集进行对比实验。由于我们的方法充分利用了飞机的形状和尺寸信息，所以在测试数据集上优于其他方法，准确率达到了95.6%。
4 结论
本文提出了一种新的飞机类型识别框架，用于飞机的精确识别。我们提出了一个飞机分割和一个关键点检测网络，以获得准确和详细的飞机表示。然后采用模板匹配的方法识别飞机的类型。该方法在训练阶段只需要对关键点进行标注。此外，它具有良好的扩展性，如果我们想要识别一种新型的飞机， 不需要对分割和关键点检测模型进行再训练。通过实验验证了该方法的有效性。