迁移学习之语义分割对抗域适应

问题背景:

自动驾驶场景:当前语义分割算法需要大量有标签的数据集,然而,这些像素级的标注信息的获取代价是非常巨大的

 

针对这一问题,有学者提出了通过游戏引擎来合成自动驾驶场景下的图像数据,同时得到像素级的语义标签,避免了标注真实图像所需要耗费的大量人力物力

 

但是,随之带来的问题是,合成图像上训练的模型能否适用于真实图像?答案是否定的,因为合成图像和真实图像的数据分布存在巨大的偏差。

利用合成数据训练得到的模型能很好地迁移到真实图像上,是本文探索的一个问题。

 

近两年域适应语义分割的经典论文:

 

Domain Adaptation Semantic Segmentation

Domain transfer through deep activation matching [ECCV2018]

Unsupervised Domain Adaptation for Semantic Segmentation via Class-Balanced Self-Training [ECCV2018]

Learning From Synthetic Data: Addressing Domain Shift for Semantic Segmentation [CVPR2018]

Curriculum Domain Adaptation for Semantic Segmentation of Urban Scenes [ICCV2017]

Learning to Adapt Structured Output Space for Semantic Segmentation[CVPR2018]

 

新兴的自动驾驶和医学图像诊断应用,合成图像是很容易获得和标记的,但人工合成的图像和真实图像域的差异(domain gap),整合GAN到FCN结构中:

这篇文章的网络分为两个部分,一个是左边的风格迁移网络,是比较常见的对抗网络的简单应用。右边是语义分割域适应网络,它的结构的不同之处,这篇文章在判别器D中加入了ASPP结构,目的是提升判别器的感受野。其他文章主要把这个结构加载G网络中,提升生成器的感受野。

Conditional Generative Adversarial Network for Structured Domain Adaptation

这篇文章,通过迁移标记的合成图像域到未标记的真实图像域,从而对真实图像进行图像语义分割。它的创新之处在于引入了条件的概念,其思路借鉴了条件GAN。这篇是CVPR唯一一篇在对抗语义分割域适应中加入噪声,而且精度在2018CVPR中是最高的(不包括self-training的方法),但这篇文章并没有开源,结果也没有人能够复现出来。

在文章写完之后,我会陆续开源一些代码。

猜你喜欢

转载自blog.csdn.net/qq_33547191/article/details/85854190
今日推荐