MICCAI2019 多模分割相关论文笔记
Accurate Esophageal Gross Tumor Volume Segmentation in PET/CT Using Two-Stream Chained 3D Deep Network Fusion
本文利用 RTCT 和正电子发射断层扫描（PET）成像方式来促进更准确的 GTV 分割。作者提出了一种双流链式分割方法，该方法通过基于 3D 深度网络的早期和晚期融合有效地融合了 CT 和 PET 模式。此外，为了实现融合和分割，提出了一种简单但有效的渐进式语义嵌套网络（PSNN）模型，该模型优于更复杂的模型。
介绍
使用双流链式管道来合并联合的 RTCT 和 PET 信息进行精确的食管 GTV 分割。首先，通过基于解剖结构的初始化来配准 RTCT 和 PET / CT 之间的错位。接下来，一种双流链式管道将来自两个独立子网的预测合并，其中一个仅使用 RTCT 训练，另一个使用 RTCT 和已配准的 PET 图像训练。前者利用 CT 中的解剖背景信息，而后者则利用了 PET 敏感但有时虚假的和强烈的对比。然后将这两个流的预测与原始 RTCT 进行深度融合，以提供最终的鲁棒 GTV 预测。一个简单但功能强大的渐进式语义嵌套网络（PSNN）模型通过使用深度监督将高级语义特征逐步传播到较低层具有更高分辨率的特征，从而融合了 UNet 和 P-HNN 的优势。
方法
模型结构示意图如下所示（不包含配准）：
- 渐进式嵌套网络（PSNN）： UNet中的解码路径会消耗大量参数，从而增加了其复杂性。而像 PHNN 这样的模型使用深度监督通过无参数途径将较低和较高级别的特征连接在一起。但与UNet不同，P-HNN将较低级别的功能向下传播到高层。结合 P-HNN 和 UNet 的优势的自然而简单的方法是使用与 P-HNN 基本上相同的参数块，但反转深度监督路径的方向，以允许高级信息传播到下层空间。
实验结果
总结
用 PSNN 取代 UNet ，加以图像级别和特征级别两次简单的拼接融合。
