IRNet: Instance Relation Network for Overlapping Cervical Cell Segmentation

论文题目：IRNet: Instance Relation Network for Overlapping Cervical Cell Segmentation
论文链接：https://arxiv.org/pdf/1908.06623.pdf

---

提出IRNet
基于巴氏涂片图像中细胞聚集成多个局部小簇而不是一个大簇的观察，建议增加一个稀疏约束，让模块专注于局部子集之间的交互。

• 整体思路：

1. 首先图像输入RPN，生成目标候选框
2. 使用ROIalign对目标候选框进行特征提取
3. 之后feature map分别输入detection 和segmentation分支。其中 detection 分支包含 Duplicate Removal Module (DRM) 而 segmentation 分支包含 Instance Relation Module (IRM)。

• IRM
  提出了实例关系模块(IRM)来利用实例间的相互关系，一般来说，IRM从每个实例中提取嵌入的特征来计算实例关联矩阵，然后根据特征之间的实例关系解析特征之间的信息。
  n：图片中的实例数量

       $D_j=B_jB_j^T$
       $D=Softmax(avg(D_1,D_2...D_c))$
       $D$是nxn是关系矩阵

      第q个实例对第p个实例影响：
       $w_{pq}={exp(d_{pq})}/{\sum_k{exp(d_{pk})}}$

       $A_p 和A_q$表示第p和第q个实例的特征， $A^{'}_p$表示经过相关关系计算后第p个实例特征
       $A^{'}_p=\gamma\sum_{q=1}^n w_{pq}A_q+A_p$

• DRM
  直接使用目标score来进行NMS会导致局部的优化结果（分类和检测精度之前的差距）。提出DRM。
  对每一个目标，只提取相关权重排前k名的候选框（在实验中k取40）。
  我们使用分类分数和NMS预测概率的乘法来给出重叠率的硬约束。
  DRM还利用了关系信息。该方法利用全卷积编码器将特征和预测掩码结合起来，有效地保留了位置信息，增强了形状信息的强度，适应实例分割的要求。

• loss
  多任务loss
  $L=L_{cls}+L_{reg}+L_{seg}+\alpha L_{DRM}+\beta L_{IRM}$
  $L_{cls}$：BCE loss
  $L_{reg}$：smooth L1 loss
  $L_{seg}$：pixel-wise BCE loss
  $L_{DRM}$:表示DRM中correct或duplicate分类的BCE loss。correct是指预测框与真实框之间最大IOU，其他是duplicate 。
  $L_{IRM}$是pixel-wise BCE loss，来进一步refine IRM之后生成的masks。