文章目录
为什么有了VNet？
之前很多的方法都是只能处理2D图像，而在临床的实践中很多都是包含3D体积。因此提出了一种基于体积、基于FCN的三维图像分割方法。
在描述MRI体积上进行端到端的训练，并且学会了一次预测整个体积的分割。
同样在V_NET中引入一种新的目标函数，训练期间根据Dice系数进行优化，以达到可以处理前景体素和背景体素之间存在强烈不平衡的状态。
应对有限数量的注释体积（数据），使用随机非线性变换和直方图匹配增强数据。
论文部分
Introduction
现在很多医学影像分割网络基于U-Net网络进行改良，于是衍生出很多这种类型的网络，它们都是大同小异。
为什么这种网络在医学影像方面表现这样好？
医学影像的数据特点：
- 语义比较简单，结构单一
- 数据比较少，因为医学影像的数据比较少，如果网络的结构模型过于复杂、和参数过多（过大）的话，就会导致我们训练的模型过拟合，而造成偏差。
- 多模态。这就需要我们有更好的网络对数据的特征进行提取。
- 可解释性重要。我们不仅仅需要的是一张3D的CT模型图，我们可能还需要知道病灶的体积、和具体在哪一层。
网络结构的特点：
- U-Net可以更好的结合数据的底层信息和高层信息。底层信息U-Net经过多次的下采样后的低分辨率信息。能够提供分割目标在整个图像中上下文语义信息，可理解为反应目标和它的环境之间关系的特征。这个特征有助于物体的类别判断。
- **高层信息：**经过concatenate操作从encoder直接传递到同高度decoder上的高分辨率信息。能够为分割提供更加精细的特征，如梯度等。skip-concatenate。
Method
左侧
在我们的左侧路径，我们执行卷积，为了从输入的图像中提取特征，并且在每个阶段结束后使用适当的步幅来降低其分辨率。
左侧分为不同的阶段进行，以不同的分辨率运行，每个阶段有1~3次卷积运算。我们制定每个阶段，使其学习Residual Function，每个阶段的输入是：(a)通过卷积层并通过非线性处理，(b)添加到该阶段最后一个卷积层的输出，以便能够学习Residual Function。
卷积
进行卷积运算，我们使用的卷积核大小为5 * 5 *5进行卷积运算，且卷积运算的步长为2。随着数据沿着压缩路径前进不同的阶段，其分辨率降低。
因为第二操作通过仅考虑非重叠的2×2×2体积块来提取特征，因此所得特征图的大小减半。运算过程大致如此：
这种运算的作用有点类似于我们的池化层。（我们发现，在一些图像识别基准测试中，最大池可以简单地由具有增加的步幅的卷积层代替，而不会损失精度），所以在该方法中被使用卷积运算而替换。
用卷积替换池化操作也会导致网络根据具体的实现，在训练期间可以有更小的内存占用，因为没有开关将池化层的输出映射回其输入需要用于反向传播通过仅应用去卷积而不是取消汇集操作，可以更好地理解和分析
下采样
下采样允许该方法 减小作为输入呈现的信号的大小，并且增加后续网的感受野。而是我们下一阶段比上一阶段的的Feature增大一倍。
右侧
网络的右侧部分提取特征并扩展较低分辨率特征图的空间支持，以便收集和组合必要的信息以输出双通道体积分割。
最后一个卷积层的卷积核是1×1×1的大小并产生与输入体积相同大小的输出的两个特征图通过soft-max将体素被转换为前景和背景区域的概率分割。
skip-connection
我们将从CNN左侧部分的早期阶段提取的特征转发到右侧部分。这在图2中通过水平连接示意性地表示。通过这种方式，我们可以收集在压缩路径中会丢失的细粒度细节，并且我们可以提高最终轮廓预测的质量。我们还观察到，当这些连接改善了模型的收敛时间。
Dice Loss Layer
医学影像之Dice Loss Layer[https://blog.csdn.net/JMU_Ma/article/details/97533768]
效果展示
与其他算法比较
讲解PPT分享
链接：https://pan.baidu.com/s/1fjSFs2p065L8NY1WR6ozkw 提取码：u5yp