MICCAI2019 多模分割相关论文笔记
3D U2-Net: A 3D Universal U-Net for Multi-domain Medical Image Segmentation
探索了一种有前途的通用体系结构，该体系结构可以处理多种医学分割任务，并且可以扩展用于新任务，而无需考虑不同的器官和成像方式。我们的3D通用U-Net（3D U2-Net）建立在可分离的卷积基础上，假设来自不同域的图像具有特定于域的空间相关性，可以使用逐通道卷积进行探测，同时还可以使用逐点卷积来建模跨通道相关性卷积。
介绍
先前的多项工作探索了多任务分割，其中所有感兴趣的器官都出现在同一图像中，作者考虑了一个更现实和更具挑战性的场景：对于给定的数据集，仅扫描人体的局部区域被扫描，并且图像中仅一个或几个解剖结构被标注。
Bilen等认为可能存在跨不同视觉域的通用数据表示。 他们推出了一项名为 “ Visual Decathlon Challenge ”（https://www.robots.ox.ac.uk/∼vgg/decathlon/.）的新竞赛，旨在同时建模十个不同样式和内容的视觉域，例如，互联网图像，手写字符，草图，浮游生物等。他们将这种新主题称为 “multi-domain learning”，其工作仅专注于图像分类。作者由此想到建立一个可以处理来自不同领域的医学细分任务的单一神经网络。
方法
- 深度可分离卷积（Depthwise Separable Convolutions）：
- 域适配器（Domain Adapter ）：由特定于域的参数和共享参数组成，并且由可分离卷积来代替标准卷积。
模型架构如下所示：
实验结果
总结
在 UNet 中每一层插入一个小模块，用可分离卷积代替普通卷积操作，为每个域设置一组专有的卷积参数，达到共享网络的目的。
