论文阅读: SNIP

Introduction

SNIP是CVPR2018 oral，并获得了COCO2017 challenge的Best Student Entry。

作者发现在COCO数据集上的small object占总的object比例太小：
这里写图片描述

做了实验，指出惯用的train、test不同输入size的做法不合理，并实验发现当train和test保持输入图片同size是有助于涨点的：
这里写图片描述

这里写图片描述

作者在Image Pyramid的基础上加入了 每层scale 的 有效proposal范围，设计SNIP如下：
这里写图片描述

Note：

每个RPN负责一个scale range的proposal生成。
对于大size的feature map，对应的RPN只负责预测被放大的小物体；对于小size的feature map，对应的RPN只负责预测被缩小的大物体；这样的设计保证了每个CNN分支在判别anchor是否为前景时，只需针对最易分类的中等range的anchor进行训练。
大大降低了前景分类任务的难度，从而“作弊式”地实现了Scale Invariance。

在Image Pyramid的基础上加入了 每层scale 的 有效proposal范围，发扬各scale的优势，回避各scale的劣势。

COCO2017 challenge的Best Student Entry。

SNIP在 Feature Pyramid 成为two-stage系标配的当下，从旧方法的杂物堆里面重新淘出 Image Pyramid ，并让之老树开新花。
但是SNIP相当于开了三个分支，其中包括了三个并行的feature extraction，速度简直不要太慢，显存占用简直不要太大，一般的显卡根本带不动。
accuracy很高，但speed太慢，model太大，没有实用性。
SNIP在没有改进之前，是一个华丽而不实用的算法。所幸SNIPER对其进行了改进。

之前还想过：

如果在RPN之后再加上一个 “scale in range”的二分判别 ，在无ground truth作为强监督信息的reference阶段可作为一种“上保险”式的复查。

和师兄讨论过后，我的观点被否定了：