理解论文 Automatic Brain Tumor Segmentation using Cascaded Anisotropic Convolutional Neural Networks
一、摘要
1.提出了一种级联的全卷积神经网络来分割多模态 脑肿瘤 MRI，分割的脑肿瘤是：whole tumor, tumor core and enhancing tumor core。
2.该文章中级联的意思是将多类别分割问题根据 分级的子区域 分解为一系列的 binary 分割问题。
3.第一步分割 whole tumor，
4.第二步，根据第一步获得的whole tumor 的bbox来分割 tumor core，
5.第三步，根据第二步获得的tumor core的bbox来分割 enhancing tumor core。
6.使用的网络包含多层各向异性滤波器和膨胀卷积滤波器，并且将他们与 multi-view fusion 结合起来去假阳。
7.在网络中使用了残差连接和多尺度预测来提升分割性能。
8.在BraTS 2017的验证集上的平均dice分数是：0.7859、0.9050、 0.8378，分别对应enhancing tumor core、whole tumor、tumor core。
9.在BraTS 2017的测试集上的平均dice分数是：0.7831、 0.8739、0.7748，分别对应enhancing tumor core、whole tumor、tumor core。
二、Introduction
该文章有三方面的贡献，
1.提出了级联网络来分割脑肿瘤子区域。级联网络将多类别分割的复杂问题分为3个较为简单的binary 分割问题，并且利用肿瘤区域的级联结构来去除假阳。
2.提出了带有各向异性卷积的新颖的网络结构来处理3D images，作为感受野、模型复杂度和内存耗费之间的一种权衡。模型使用了膨胀卷积、残差连接和多尺度预测来提升分割性能。
3.提出融合三个正交视图的CNN输出，以获得更鲁棒的脑肿瘤分割。
三、方法
1.提出的级联结构如下图所示，
2.在训练阶段，bbox是根据ground truth 自动产生的
3.在测试阶段，bbox是根据whole tumor和tumor core的分割结果产生的。
4.WNet的分割结果作为TNet的输出中的一个crisp binary mask，TNet的分割结果作为ENet的输出中的一个crisp binary mask，这位分割提供了解剖学约束。
5.各向异性卷积神经网络
（1）3D神经网络中，感受野、模型复杂度和内存小号需要被考虑。小的感知野导致模型只利用局部特征，大的感知野导致模型学习太多的全局特征。使用大的3D 感知野对3D volume来说也会获得更多的全局特征。然而，使用大的3D patches来训练会耗费大量的内存，并且因此在网络中限制了分辨率和特征的数量，这会导致限制了模型的复杂度和模型的表现力。作为折中，提出了各向异性网络，采用一列切片的叠加作为输入，这种输入具有切片内上的大的感知野以及切片间方向上相对较小的感知野。切片内的感知野是217*217、217*217、113*113分别对应于WNet、TNet和ENet。在训练和测试期间，输入的32D的大小比相对应的感知野较小。WNet、TNet、ENet的切片间感知野都是9。提出的这些网络的结构如下图所示，他们都是全卷积，并且使用10个残差连接模块，膨胀卷积和多尺度预测。
（2）各向异性和膨胀卷积。 为了处理各向异性感知野，将大小为3*3*3大小的3D卷积核分解为大小为3*3*1的切片内卷积核和大小为1*1*3的切片间卷积核，拥有这些卷积核的卷积层有Co和输出通道，并且后面跟着一盒BN层和一个激活层，图2中可以看到。激活层使用PReLU。WNet和TNet使用20个切片内卷积层和4个切片间卷积层再加两个2D下采样层。ENet使用和WNet相同的卷积层设置，但是只有一个下采样层（考虑到输入size较小）。只是用最多两个下采样层为了是避免大图分辨率的下降以及分割信息的损失。下采样层之后，对片内卷积核使用膨胀卷积来扩大片内的感知野。膨胀系数设置为1~3，图2中可以看出。
（3）残差连接。 为了搞笑训练deep CNN，引入残差连接来创建标识映射连接来绕过网络中的参数化层。WNet、TNet、ENet有10个残差模块。每个残差模块包含两个片内卷积层，并且残差模块的输入直接加和到输出中，鼓励模块根据输入学习残差功能。这能使信息传播的更平稳并且在训练中加速收敛。
（4）多尺度预测。 使用卷积核之后，浅层学习局部和低级的特征同时深层学习更多全局和高级特征。为了结合不同尺度上的特征，在网络的不同深度中使用了3个3*3*1卷积层来获得多重中间预测结果并且将他们上采样到输入的分辨率。这些预测结果连接起来之后输入到一个3*3*1的卷积层来获得最终的score map。在图2中可以看到这种设计。 这些层的输出结果拥有Cl通道数，这里Cl是每个网络中要分割的类别数，在该文章中，Cl等于2。 多尺度预测结果的结合之前的论文也有用的。
（5）多视图融合。 因为各向异性卷积在片间方向上的感知野较小，为了利用3D上下文信息，融合了3个垂直视图上的分割结果，WNet、TNet、ENet在axial、sagittal和coronal视图上分别训练。在测试阶段，融合这3个视图上的预测结果来获得最终的分割结果。融合的时候，针对每个网络，取这个网络在3个垂直视图上的预测的结果（softmax 输出）的平均值。融合示意图如下，
