【论文】Learning RoI Transformer for Oriented Object Detection in Aerial Images

RoI Transformer: 将空间转换应用在RoIs上,并通过标注旋转框,监督学习得到转换参数。

RoI Transformer是轻量级的。

一、Introduction

(1) 水平框检测会造成边界框和目标的不一致性,尤其是当目标密集分布时。

(2)由于航空影像目标方向的多样性,使用有限方向的RRoIs很难与所有的目标都正确匹配,并且多方向的RRoIs还会造成计算的高度复杂性。

(3)空间变换、形变卷积和RoI池化常被用来处理几何变形,并且不涉及标注的旋转边界框。

(4)在航空影像中,提取具有旋转不变性的区域特征,对于消除区域特征和目标的不匹配问题是非常重要的。

(5)本研究的主要内容:

  • 提出了RoI Transformer的模块结构,通过标注RRoI的监督学习和基于位置敏感对齐的特征提取,旨在利用双阶段框架实现密集旋转目标的检测。
  • RRoI learner: 学习从HRoIs到RRoIs的转化
  • 旋转位置敏感的RoI Align: 从RRoI中提取位置不变性特征用于后续分类和回归。

(6)本研究的主要成果:

  • 提出了一个旋转RoI的监督学习器,可以将HRoIs转化到RRoIs。
  • 设计了一个旋转位置敏感的RoI Align模块用于空间不变性特征提取,可以保证高效率和低复杂度。
  • 在多个大型数据集上进行了旋转目标检测的测试,验证了RoI Transformer的有效性。

二、RoI Transformer

  • RRoI learner:位置敏感的RoI Align连接着一个五维的全连接层组成,用于HRoIs和地面真实旋转框的偏差回归。
  • RoI wrapping:对旋转区域的特征进行变形,是指具有旋转不变性。

1. RRoI Learner

  • 目的:从HRoIs的特征图上学习到旋转的RRoIs。
  • 方法:考虑到每个HHRoI是RRoI的外接矩形,可以使用全连接层从特征图Fi中推断出RRoIs的几何表示。
  • 回归目标:

 

其中,(xr, yr, wr,hr, θr)表示RRoI,(x*, y*, w*, h*, θ*)表示地面标注RRoI。并且需要将全局坐标系转化为局部坐标系。h为短边,w为长边,到h的旋转角在 [0,Π) 之间。

采用Smooth L1作为回归的损失函数,获得从HRoI到RRoI的参数。

2. RRoI Warping

  • 输入:尺寸为(H,W,K×K×C)的特征图D,RRoI(xr, yr, wr,hr, θr)
  • 输出:RRoI被RPS RoI Align分割成K×K块,并输出大小为(K×K×C)的特征图y

3. RoI Transformer for Oriented Object Detection

  • RRoI earner和RRoI Warping构成了RoI Transformer(RT),可以被用来取代普通的RoI wraping 操作
  • Polygons之间的IoU计算:RRoI和RGT面积的交并比,IoU大于0.5,则认为是True Positive。

  • 回归计算目标:采用相对偏差,即将坐标系统与RRoI绑定,而不是针对图像进行偏移计算

猜你喜欢

转载自blog.csdn.net/MLH7M/article/details/121291992