图像分割进阶路线

第一阶段:看分割是分割

这个阶段的典型表现是,有了对深度学习和计算机视觉的基础,开始痴迷于各种分割网络和loss改进,对benchmark的每一个性能的改进都有很好的follow。这个阶段应该梳理以下问题:

  1. 语义/实例/全景分割的问题难点在哪里 benchmark数据集有哪些
  2. 评价指标是什么
  3. 现有的方法有哪些,关系是什么
  4. 还有哪些可以改进的地方

理论搞的差不多,开始上一些code部分:

语义分割

@立夏之光的EMANet,代码风格简洁易懂。

https://link.zhihu.com/?target=https%3A//github.com/XiaLiPKU/EMANet

@Zijun Deng的分割模板,写的也非常不错。

https://link.zhihu.com/?target=https%3A//github.com/zijundeng/pytorch-semantic-segmentation

@旷视的TorchSeg,很旷视

https://link.zhihu.com/?target=https%3A//github.com/ycszen/TorchSeg

实例分割

FAIR的经典maskrcnn框架

https://link.zhihu.com/?target=https%3A//github.com/facebookresearch/maskrcnn-benchmark

MMlab的MMDetection,用过的人都说好

https://link.zhihu.com/?target=https%3A//github.com/open-mmlab/mmdetection

第二阶段:看分割是CV

这个阶段建立在第一个阶段的基础上,对分割问题有了较为全面的认识,各个benchmark和网络都能如数家珍。这个阶段的典型表现是开始看其他视觉领域的工作,包括但不限于:

  1. Object Detection
  2. Skeleton Detection
  3. Face Detection
  4. Text Detection
  5. PersonReID
  6. Single/Multi objectTracking

能发现分割从表示上的局限性和其他任务之间的相关性 (注意,第一阶段是分割这个domain内部工作之间的相关性)。到这里,你会发现分割可以用来做检测,回归可以用来做分割,不同CV领域的工作和设计思路对分割都可能有启发。

典型的最近Anchor-free的一系列工作(CornerNet, CenterNet, FCOS等),其实就是用FCN+Regression去做检测,本质上改变了Detection gt的表示。再比如 @谢恩泽的PolarMask: Single Shot Instance Segmentation with Polar Representation,将mask表示从dense pixel-wise的gt,变成极坐标下的polygon,进而可以用回归相关的参数。

第三阶段:看分割是learning

到了这个阶段,你会发现我们之前都在一个supervised并且没有noise的框架下讨论问题。比如一些unsupervised和semi-supervised的范式,怎么能更好的提升。如何让分割网络有更好的transfer能力和抵御对抗攻击的能力。这个阶段一般开始看learning相关的文章,包括但不限:

  1. unsupervised learning
  2. semi-supervised learning
  3. adversarial training
  4. generative model
  5. transfer learning
  6. federated Learning

比如在Indirect Local Attacks for Context-aware Semantic Segmentation Networks中,PSPNet和PSANet等SOTA分割模型被局部攻击后,效果还不如FCN baseline,是非常有意思的发现。Google的 Self-training with Noisy Student improves ImageNet classification,已经不再是从(人工)网络设计上去提升性能,而是通过一种半监督的方式,利用更多的无监督的数据进行迭代学习去提升分类的性能。何凯明的Momentum Contrast for Unsupervised Visual Representation Learning提出了一种新的无监督范式,在7个分割/检测的benchmark上得到了提升。

 

 

发布了26 篇原创文章 · 获赞 65 · 访问量 4323

猜你喜欢

转载自blog.csdn.net/qq_40263477/article/details/103569499