遥感图像目标检测综述

1.参考文章:《基于卷积神经网络的遥感图像目标检测与识别》
摘要:
问题是现有的基于卷积神经网络的遥感图像目标检测方法依赖大量bounding box数据(位置信息数据)进行训练,需要耗费大量人工标注成本,同时由于遥感图像的目标样本数量有限,不足以支撑大规模训练;另外现有的基于卷积神经网络的遥感图像目标识别方法仅考虑网络的深层语义特征,导致识别性能达到瓶颈。
本文利用CNN提取的深度特征提取感兴趣区域,并通过多个尺度的CNN对感兴趣区域进行目标确认,无需bounding box数据进行训练。
贡献点:
(1)解决目标检测方法依赖大量bounding box训练数据以及遥感图像目标样本不足的问题。使用高分辨率遥感图像训练卷积神经网络,利用该网络对低分辨率遥感图像提取深度特征,获取感兴趣区域,最后采用多尺度的卷积神经网络进行目标确认。优点:提高了目标检测的准确率,降低了漏检率,鲁棒性强,无需bounding box数据进行训练大幅减少了网络训练时间。
(2)首先设计了一个更加适合遥感图像目标识别的卷积神经网络,然后提取了一个端到端的卷积特征融网络,通过全局平均池化方法提取网络的不同深度特征,将其线性融合。

第1章 绪论
1.1 研究背景及意义
以前算法主要有滑动窗口算法、基于图像分析的方法、基于BOW特征的目标识别算法、基于HOG特征的目标识别算法。
大概是说,这些特征无法表达目标的抽象语义特征。什么叫抽象语义特征??CNN可以很好地分类和检测,原因在于CNN权值共享、位移旋转不变性。CNN所提取的深层语义特征能够有效描述自然场景图像不同类别之间的差异。边缘、纹理、颜色都是浅层特征;抽象的高层语义特征(包含抽象语义的特征,能够有效区分不同语义的目标,如机场、港口),意思就是说高层的抽象语义特征可以分类吧。
。。。
第2章 相关工作
2.1 遥感图像目标检测与识别
目前,基于机器学习的遥感图像目标检测算法主要分为两个部分,感兴趣区域提取部分以及目标确认部分,其中目标确认部分主要采用一些机器学习模型提取图像特征,然后训练分类器,利用分类器对感兴趣区域进行分类确认。。。。

第3章
终于终于,好像搞懂了这篇论文的思想。深度特征好像对于他来说还挺牛的,介绍了很多经典的方法,最后引出卷积神经网络,提出了基于深度特征的遥感图像目标检测方法。可是在目前的认知中,采用的不都是深度特征吗??
Faster R-CNN和YOLO均需要大量训练数据进行大规模训练,包括类别标签数据以及bounding box数据。遥感图像目标不具备大规模训练数据集。。。
因此,本文提出一个全新的基于深度特征的遥感图像目标检测方法。首先,使用512*512的高分辨率。。。。

2.参考文章:《基于卷积神经网络的遥感图像目标检测》
摘要:
为了解决遥感图像目标旋转角度大,将空间变换网络融入Faster R-CNN,提出一种具有旋转不变性自学习能力的目标检测模型。融了空间变换网络的卷积神经网络所提取得特征具有更好的旋转不变性。
引言:
遥感图像目标以俯视图视角呈现,且方向角变化范围较大。故要求提取的特征对于目标的旋转具有稳健性。
CNN提取的高层特征,相比于手工提取的特征更加抽象,具有更好的稳健性。得益于池化层,卷积神经网络对平移和缩放具有一定的学习能力,但仍然缺乏对输入数据旋转不变性的学习能力。STN是一个变换模块。通过显示学习,可以使传统卷积层获得平移、缩放、旋转等特性。本文将Faster R-CNN与STN模块相结合,提出了对目标旋转更具稳健性的检测框架。。。。

3.参考文章:《OBJECT DETECTION IN SATELLITE IMAGERY USING 2-STEP CONVOLUTIONAL NEURAL NETWORKS》

摘要
efficent
提出方法:two convolution neural networks
效果:higher accuracy(recall、precision、F-measure:87%)

介绍
High resolution satellite imagery can detect small objects such as ships, cars, aircraft, and individual houses; whereas, medium resolution satellite imagery can detect relatively larger objects, such as ports, roads, airports and large buildings 【1】【6】
As an example of target object, we selected golf courses because they exist everywhere in the world, are typically of a recognizable size and shape with 30 meter resolution of Landsat 8 imagery.数据集介绍:Landsat 8 imagery中的高尔夫球场
好像Landsat8数据集可以根据年份、地区选择图片。

4.参考文章:《You Only Look Twice: Rapid Multi-Scale Object Detection In Satellite Imagery》

摘要
解决问题:像素多、范围广、感兴趣目标小
提出方法: YOLT
效果:以速率为0.5km2/s的速度evaluate任何尺寸遥感图像
快速检测各种尺度图像
F1>0.8
即使只有5像素的尺寸的目标仍然可以high confidence检测出来。

介绍
对于遥感图像目标检测任务,主要有以下几个问题:

  • small spatial extent:目标非常小而且稠密
  • complete rotation invariance:几乎可以任何旋转
  • training example frequency:训练数据缺乏
  • ultra high resolution:简单下采样不是合适的选择
    针对以上问题,本文依次提出解决方案。为了解决小且稠密的目标,3.1提出了一个新网络结构。。。。

训练集
训练集来自三个地方:DigitalGlobe satellites,Planet satellites,aerial platforms.
labels由一个bounding box和类别组成。我们先关注5类:airplanes,boats,building footprints,cars,airports。对于不同尺寸和目标,我们用两种不同尺度检测器是非常有效的。
Cars:COWC数据集是一个大的、高质量的标注好的多尺度汽车数据集。数据集来自于aerial platform

5.参考文章:《REDUCED FOCAL LOSS: 1st PLACE SOLUTION TO XVIEW OBJECT DETECTION IN SATELLITE IMAGERY》——2019.04.29

摘要
解决问题:为了解决DIUx xView 2018 Detection Challenge 上数据集样本不均衡问题
提出方法:Reduced Focal Loss函数,
效果:获得了这个比赛上第一名。评价标准:仍是mAP(31.74)、Recall(61.2%)、mRecall(77.5%)
介绍
介绍了数据集的特点,DIUx xView 2018 Detection Challenge是目前最大公开的遥感图像目标检测数据集。 包含大约一百万目标,60类。目标尺度不会大改变,但是可以旋转360度。数据集有难以辨别的特征,且具有内在的不平衡特点。
方法
相关工作
每张图片都经过一个backbone网络,比如resnet,每个block取一张feature map。RPN用于每张feature map,但是所有层都共享相同的权重,从而产生proposals。最好的proposals使用两个全连接网络来修正,FPN首先收集来自各个层的预测,运行NMS。然后选择最好的层,运用ROIAlign,基于Proposal的尺寸。base FPN检测器的结果见表1.
实验
xView数据集包含864张标注好的图片,分别分成742张训练集和104张验证集。
训练集被cropped成700*700的小图片,每张小图片进行数据增强操作:旋转、flip
code用pytorch实现。当然还有很多实现细节问题。

6.参考文章:《Object Detection in Aerial Images Using Feature Fusion Deep Networks》(2019)

摘要
由于遥感图像中高密度、小尺寸的目标,以及场景的复杂性,现有方法在遥感图像上精度很低。我们提出FFDN,可以实现更高的检测性能。在UAV123和UAVDT数据集上进行检测。
实验
数据集
UAV123数据集有各种各样的种类,UAVDT数据集有复杂多样的场景。UAV123数据集包含123个videos,我们选择33个videos来产生48770帧可以包含数据集各种各样的场景。我们产生13871帧,手动产生ground truth。检测的主要物体种类为bikes,boats,buildings,people,cars等。
UAVDT数据集是在6个不同城市地区拍摄的,定义6种属性。
评价标准
我们使用四种标准:precision §, recall ®, F1-score (F1) and mean intersection over union (Mean IoU))
实验结果
在这里插入图片描述
在这里插入图片描述

7.参考文章:《Clustered Object Detection in Aerial Images》(2019)

摘要
遥感图像目标检测很难,主要原因如下:。。。
于是提出ClusDet
在三个数据集上测试:VisDrone、UAVDT、DOTA

8.参考文章:《Object Detection in Very High-Resolution Aerial Images Using One-Stage Densely Connected Feature Pyramid Network》(2018)

摘要
由于遥感图像中目标不同scale和appearances,导致遥感图像目标检测任务特别难。于是提出我们的方法可以处理不同scale的问题。在两个公开数据集上实验,实验证明可以有更好的mAP和更少的计算时间。
实验
数据集描述
NWPU VHR-10数据集,这个数据集提供了650个标注好的图片,每个图片至少包含一个目标。这些图片也被手工标注bounding box作为ground-truth。
RSOD数据集
评价标准
precision-recall曲线
AP
结果
采用3种backbone,分别是VGG-16,Resnet50,Resnet101。
在这里插入图片描述
感觉这篇比较好理解,尽管也没有代码。

9.参考文章:《DOTA: A Large-Scale Dataset for Object Detection in Aerial Images》(2018)
10.参考文章:《Salience Biased Loss for Object Detection in Aerial Images》(2018)

。。。
。。。
数据集为DOTA

11.参考文章:《Multi-Scale Image Block-Level F-CNN for Remote Sensing Images Object Detection》(2019)

摘要
在遥感图像目标检测领域有很多困难,比如complex and varied appearances, the expensive manual annotation,(人工标注困难)and difficult in fast detecting the large scene image。于是我们提出MIF-CNN。它有特别多的好处。。。。
数据集:NWPU VHR-10,两个Airports数据集。

12.参考文章:《A Sample Update-Based Convolutional Neural Network Framework for Object Detection in Large-Area Remote Sensing Images》(2019)
13.参考文章:《Detection of Multiclass Objects in Optical Remote Sensing Images》(2019)
14.参考文章:《Multiscale Visual Attention Networks for Object Detection in VHR Remote Sensing Images》(2019)
15.参考文章:《Scale Adaptive Proposal Network for Object Detection in Remote Sensing Images》(2019)
16.参考文章:《Object Detection in Remote Sensing Images Based on a Scene-Contextual Feature Pyramid Network》(2019)
17.参考文章:《A Novel Multi-Model Decision Fusion Network for Object Detection in Remote Sensing Images》(2019)
18.参考文章:《A Training-free, One-shot Detection Framework For Geospatial Objects In Remote Sensing Images》(2019)
19.参考文章:《HIERARCHICAL REGION BASED CONVOLUTION NEURAL NETWORK FOR MULTISCALE OBJECT DETECTION IN REMOTE SENSING IMAGES》:北航、德国

摘要
我们提出基于Faster R-CNN的方法来检测遥感图像中的多scale目标。首先,一个预训练的CNN用于从输入图片中提取特征,然后产生一系列candidates。
数据集:Google Earth、GaoFen-2

20.参考文章:《Deep Adaptive Proposal Network for Object Detection in Optical Remote Sensing Images 》

摘要
。。。
。。。
数据集:NWPU VHR-10

猜你喜欢

转载自blog.csdn.net/qq_42278791/article/details/90723331