论文研读——Gross Tumor Volume Segmentation for Head and Neck Cancer Radiotherapy using Deep Dense Multi-modality Network
摘要
利用多模态PET和CT图像，提出了一种基于深度学习的HNC自动GTV分割框架。分割框架的backbone是基于密集连接的3D卷积构建的，这可以实现更好的信息传播并充分利用从多模态输入图像中提取特征。在包括250名HNC患者的数据集上评估了本文提出的框架。为了进一步研究Dense-Net框架的优势，还与使用3D UNet的框架进行了比较。同时，还进行了单模态输入（PET或CT图像）和多模态输入（PET/CT图像）之间的性能比较。评估指标有Dice系数，平均表面距离（MSD）和95%的Hausdorff距离（HD95）和质心的位移。基于五重交叉验证的结果，本文提出的网络在Dice系数上有更好的性能。并且，和3D UNet相比，建议的Dense-Net网络结构具有更少的可训练参数，这降低了预测的可变性。
（本文是第一项将3D卷积和密集连接相结合的研究）。
数据集
来自癌症影响档案库（TCIA）的HNC数据集，来自四个不同机构的18F-FDG-PET/CT和放射治疗计划CT。组织学证明是头颈部鳞状细胞癌（HNSCC）。
**预处理方法：**根据HU窗口[-200, 200] 将CT图像的额像素强度归一化到0-1，使用SUV窗口将PET强度归一化到相同范围[0, 10]。所有的PET和CT图像都以1mmx1mmx2.5mm的像素大小线性插值到相同额分辨率。通过手动选择中心像素，将输入图像裁剪到128x128x48像素大小。
方法
工作的总体流程图
首先，在预处理步骤中，将计划CT与预处理的PET/CT图像配准，并且在计划CT上手动描绘的GTV轮廓针对这两种图像方式进行配准。归一化和裁剪的PET和CT图像之后被馈送到网络中。其次利用3D卷积并实现密集连接来改善信息流，减少网络参数并更好地利用提取的特征。
为了证明其有效性，将提出的多模态Dense-Net与单模态Dense-Net和3D UNet进行了比较。最后，通过不同的评估指标来评估不同网络的性能。
本文提出的网络结构
- Dense Block的结构
- 网络结构
- 上述网络中涉及到的参数
比较方法
多模态的Dense-Net和单模态的Dense-Net以及3D UNet网络之间的比较
实验设置
250名患者中，有75名患者被拒诊，其余175名患者随机分为训练组（140名患者）和验证组（25名患者）。参数设置，多模态和单模态Dense-Net以及3D UNet的参数都是相同的。
将PET和CT图像作为两个输入通道馈入所提出的网络，并使用带注释的GTV罗阔作为训练标签，每批训练都包含一个患者的PET/CT或单一模态图像。
为了扩大训练样本并减轻过拟合的问题，可通过应用随机平移，旋转（绕y轴旋转90°，180°和270°）和镜像来增强训练图像。
通过随机权重初始化从头开始训练所有网络、
SoftDice用作训练目标函数，优化器使用Adam优化器。
结果
特征图可视化
为了验证提取的特征的有效性，我们首先将每个密集块的输出中的特征图可视化。对于每个特征图，我们使用跨不同特征通道的绝对平均值来说明输出。图5显示了密集块的输入图像和输出的示例，并说明了多模态密集网的特征传播和信息流的清晰路径。如图所示，由于在CT图像上骨骼的体素强度很高，因此早期块的输出在下颌区域呈现出很高的强度。经过几个密集块处理后，骨骼区域的体素强度下降，而肿瘤强度增强，这表明网络已学会从集成的PET和CT体素中自动选择判别特征。同时，空间分辨率通过向下转换模块不断降低，直到出现瓶颈（密集块5）。因此，从密集块5提取的特征图难以解释。由于高级功能依赖于原始图像的像素级信息较少，因此随着网络的深入，功能变得更加抽象（Johnson等，2016）。对于解码器路径，空间分辨率通过转换模块恢复，最终的GTV轮廓通过随后的卷积层逐渐显示。因此，最终生成的分割轮廓（绿色）将恢复手动绘制的GTV轮廓（蓝色）。
定性分析
如图所示，Denset-Net使用多模态输入的Dice为 0.82，可以实现良好的性能，而PET单模态输入的Dice则只有0.60。
与3D U-Net（Dice = 0.72）相比，提出的多模态密集网（Dice = 0.80）可以更好地描绘GTV轮廓。
定量分析
网络性能的统计结果
网络性能的统计表
GTV体积大小和分割效果的关系。图a显示，较大的肿瘤倾向于以较小的方差获得更好的分割结果，而对于小的病变，分割性能不稳定。图b中每个长方形的大小为5立方厘米，计算了每个长方形的平均dice。
为了进行定量分析，将体积大于30的作为大肿瘤组，体积小于30的作为小肿瘤组，进行试验，发现大肿瘤组的Dice为0.75，小肿瘤组的Dice为0.65，存在着一定的差异。
分割效果不好导致Dice偏低的例子
