MICCAI2019 多模分割相关论文笔记
Unified Attentional Generative Adversarial Network for Brain Tumor Segmentation From Multimodal Unpaired Images
在许多情况下很难获得多模式配对的配准图像，开发一种可以用不成对的图像将不同形态的目标对象进行分割的模型对于许多临床应用而言意义重大。在这项工作中，我们提出了一种新颖的两流转换和分割统一注意力生成对抗网络（UAGAN），该网络可以执行任意图像模式转换并在两种或多种模式可用的情况下同时分割目标对象。转换流用于捕获目标解剖结构的模态不变特征。此外，为了专注于与细分相关的功能，我们添加了注意块以从转换流中提取有价值的功能。
介绍
神经胶质瘤是最常见的原发性中枢神经系统恶性肿瘤，由多个亚区域组成。在临床医学上，多模图像可以提供不同的生物学信息，以反映肿瘤诱导的组织变化，例如对比后的T1加权（T1Gd），T2加权（T2）和T2液体衰减反转恢复（FLAIR）量。常见的方法需要成对的配准好的图像、提取模态无关特征或对特征进行重新校准。StarGAN可以使用统一模型对多个域执行图像到图像的转换，其进行对抗学习期间，生成器学习更改图像特征并保留全局特征以欺骗判别器，利用这些全局功能可以提高多模式细分的性能。本文中作者将模态转换作为辅助任务来帮助分割，并提出了两流式转换和分割统一注意力生成对抗网络（UAGAN）。
（此部分总结了一些近年多模医学图像分割的文献）
方法
图1a展示了所提出的 UAGAN 的训练策略，图1b展示了 UAGAN 具有转换和分割双流的体系结构，两个流均采用U-net体系结构：
生成器部分双流采用独立的编码器和解码器，但共享编码器的最后一层，转换流的网络表示为 Gtrans，分割流的网络表示为 Gseg。对抗训练策略类似于 StarGAN，它包含两个阶段。在前向阶段，随机生成目标模式标签 c’，它是模式（例如FLAIR，T1Gd和T2）的 one-hot 编码。我们将 c’ 扩展到输入图像的大小，并在扩展的 c’ 和任意已知模态图像 x 之间执行深度级联。给定输入（x，c’），Gtrans 学习将 x 转换为目标模态图像 x’，即 Gtrans（x，c’）→x’。同时，Gseg 以 x 作为输入并输出分割图 Gseg（x）。在反向阶段，Gtrans将伪图像 x’ 和源模式标签 c 作为输入，并尝试通过 Gtrans（x’，c）恢复源模式图像 x。
- 注意力模块： 在U-net体系结构中，编码器捕获从低级细节到高级语义知识不等的多级特征。解码器逐渐将低级和高级功能组合在一起以构造最终结果。预计 Gseg 提取的特征与肿瘤更相关，而在转换流中，由于训练了 Gtrans 来欺骗判别器 D，因此无关的信息（例如大脑的轮廓和内部结构）可能会保留在转换编码器中。为了强调与肿瘤相关的特征并抑制无关的特征，解码器的每个上采样步骤中都采用了注意力模块。任务 t 的编码器 e 中处于 i 级别的特征表示为 F。
实验结果
总结
用 GAN 进行模态转换获得模态之间的关联、提取共有信息。
