Efficient Multi-Scale 3D CNN with fully connected CRF for Accurate Brain Lesion Segmentation这篇论文主要内容就是作者运用3D CNN以及全连接CRF算法做3D脑部图像损伤区域分割。
3D CNN
3D卷积与2D 多通道图像卷积不同之处在于filter要进行三个维度的滑动操作。单通道3D卷积与2D卷积类似，filter和图像也是对应相乘求和。
多通道3D与多通道2D类似，通道间filter权重独立，卷积结果累加。
本文技术总结：
1、提出一种新颖、高效的混合训练策略，不仅能够保持计算的高效，而且能自适应解决分割中类别不平衡的问题。
2、在3D CNN中使用小型卷积核(kernels)。这种设计于2D网络的有效方法在3D CNNs中更加有效，使得在没有增加多少计算量的同时建立了更深层拥有更准确判断力的网络。同时由于参数的减少，降低了过拟合的风险。
3、采用并行的卷积路径进行多尺度运算，这是一种能够高效结合局部信息和上下文信息，提高分割精度的方法，一定程度上规避了以往3D CNNs计算的限制。
4、利用全连接的CRF模型对CNN软分割(soft segmentation)的maps进行最终的后处理。这是3D全连接CRF在医疗数据中的首次应用。这种方法相较于以往模型的突破在于可以在保持快速的同时处理任意大的邻域。
本文所用的方法总体上可以分成两个部分：3D CNN产生高精度、软分割的图；用全连接3D CRF对CNN输出施加正则化约束，生成硬分割标签。作者工作的主要贡献在前面CNN的部分。
本文有以下要点：
1、Dense Segmentation、Dense Training and Class Balance
用卷积层代替全连接层实现全卷积(FCN)，使得网络可以一次对邻近的多
个像素进行预测。输入图像Patch是比末层像素感受野稍大的区域,感受野在此区域中滑动可以有多个中心像素，这些中心像素就是最终被同时预测的像素。如图Figure3所示。
这种策略显著减少计算和内存上的开销，比一次预测一个像素提高了效率。事实上，如果内存足够大，一次将整个图像放入内存做输入层是最方便的，但当前内存容量限制很大，所以取部分图像是一种折中。
在采样training samples的时候用50%的比率采样前景和背景像素，这样可以缓和类别不平衡的问题。
2、更深的网络
更深的网络有更好的辨别力，但又会带来很多问题，比如计算力负担和过拟合风险等。为了解决这些问题，本文采用了以下方法：
(1)采用更小的3^3 kernels，减少了参数数量，提高了卷积速度。
(2)采用He等人的基于ReLu的神经网络，对正态分布采样
初始化kernel权重.
(3)采用Batch Normalisation技术解决“internal convariate shift”。
3、多尺度平行卷积路径
为了融合局部信息和更大区域信息，本文添加了3D CNN的第二条路径同步对输入图像进行多尺度处理。
两条路径可以独立的从任意大小、多分辨率图像中提取特征。第一条路径中可以学习到一些高分辨率的细节信息。第二条路径学习一些低分辨率高级别特征(higher level features)。两条路径的输入虽然分辨率不同，但中心位置在图像是相同的。
4、3D Fully Connected CRF
使用一个全连接CRF作为后处理，进行更多结构化预测。
5、其他
(1)敏感性(sensitivity)和特异性(specificity)：
假设正例为有病
敏感性指诊断疾病时不漏诊的能力——真正例率，即真正例在所有正例中所占的比率。(这里真正例指预测为正例且预测正确的样本)
特异性指诊断疾病时不误诊的能力——真反例率，即真反例在所有反例中所占的比率。医学上将假正例称为误诊，假反例称为漏诊。高敏感性和高特异性往往难以兼得，减少漏诊就可能会增加误诊。
(2)密集训练在图像分割上的有效性
作者主要采用了从lesion和background平均采样的方式(Peq)，设置了不同分割区域大小的对照组，结合结果最后认为用分割区域size 25^3（S-25）效果相对最好。这里可以看出不漏诊(Sensitivity)的这个指标相对次要。
（3）多尺度双路径的11层网络DeepMedic与一些单尺度路径的9层网络相比效果更好。
(4)DeepMedic+CRF在traumatic brain injuries、brain tumors、ischemic stroke三种分割任务中都表现出state-of-the-art的性能。