传统的基于卷积神经网络的分割方法的做法通常是：为了对一个像素分类，使用该像素周围的一个图像块作为卷积神经网络的输入用于训练和预测。这会使得存储开销很大。eg：对每个像素使用的图像块的大小为15*15，则所需要的存储空间是原来图像的225倍；计算效率也很低，相邻的像素块，很大程度上是重复的，针对每个像素逐个计算卷积，这种计算也是重复的；像素块的答谢哦限制了感知区域的大小。通常像素快的大小比整幅图像的大小小很多，只能提取一些局部的特征，从而导致分类的性能受到了限制。
在2015年提出来的全卷积网络（Fully Convolutional networks，FCN）结构。FCN可以对图像进行像素级的分类，从而解决了语义级别的图像分割问题。与经典的 卷积神经网络在卷积层之后使用全连接层得到固定长度的特征向量进行分类（全连接层+softmax输出）不同，全卷积网络可以接受任意尺寸的输入图像，采用反卷积层对最后一个卷积层的特征图进行上采样，使它恢复到输入图像相同的尺寸，从而可以对每个像素都产生一个预测，同时保留了原始输入图像中的空间信息，最后在上采样的特征图上进行逐个像素的分类，完成最终的图像分割。
FCN网络结构
在FCN网络结构的基础上，Korez等人提出了3DFCN网络结构 ，并将3DFCN网络分割出的脊椎结构用形变模型算法进一步优化，进一步提高了脊柱MR图像的分割准确率。Zhou等人将FCN算法和多数投票算法相结合，在人体躯干CT
图像中分割出了19个目标。在网络训练过程中，将经过每一个像素点的矢状面、轴状面、冠状面的CT图像分别输入至2D FCN网络进行训练，并用3D Majority Voting算法对三幅图像的分割结果进行表决，得到最后的分割结果。Moeskops等人[55]采用脑部MRI、心肌MRI和冠状动脉在心脏CT血管造影（CTA）中的冠状动脉图像同时训练一个FCN网络，使得训练好的网络可同时用于这三类目标的分割。
FCN在对图像进行分割时，上采样层将特征恢复到原图像的大小，此过程会导致像素定位不精确，从而影响分割结果的准确性。为了解决这一问题，许多研究者采用MRF算法[56]或CRF算法[58]对FCN输出的分割结果进行改进，进一步优化分割结果。