Krizhevsky, A., Sutskever, I., Hinton, G.E.: Imagenet classification with deep convolutional neural networks. In: NIPS. pp. 1106–1114 (2012)
Girshick, R., Donahue, J., Darrell, T., Malik, J.: Rich feature hierarchies for accurate object detection and semantic segmentation. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR) (2014)

但是深度网络受限于可得到训练集的大小及数量，更大更深的网络以及更大的数据集可以更好的提升性能。

Krizhevsky, A., Sutskever, I., Hinton, G.E.: Imagenet classification with deep convolutional neural networks. In: NIPS. pp. 1106–1114 (2012)

但是更经典的运用，不仅仅受限于分类问题，也需要对目标进行定位。例如定位到每个像素点上的类别。同时，大量的训练样本（thoustands of）往往是不可得的。

2.2 基于滑窗的分割

滑窗法提出被用于判定每个pixel属于哪个class label

Ciresan, D.C., Gambardella, L.M., Giusti, A., Schmidhuber, J.: Deep neural networks segment neuronal membranes in electron microscopy images. In: NIPS. pp.2852–2860 (2012)

网络直接将滑窗的patchs送入，首先可以解决定位的问题，其次可以将训练数据数量可以远远大于训练集的图像的数量。

缺点：

网络必须分开的对每个取窗的patch进行训练，patches之间有大量的重叠则会出现重复训练
定位精确度与context之间有trade-off。大的patch需要更大的pooilng层，使得定位误差增大；同时，小的patch使得网络提取出更少的语义信息。

2.3 本文方法

创建一个全卷积网络，fully convolution network来用于提取出相应的特征。网络只需要少量的训练数据并且可以有更高的分割准确率。

额外的引入了successive layer，使得pooing操作之后会跟上采样操作。
高分辨率的feature可以从contractin path来与相应的上采样结合。Successive convolution层可以更好的集成更加精确的信息。
上采样部分，有更多的feature channel，可以让网络有更高的分辨率。
因此，expansive path与contracting path是近似对称的关系。使得网络是一个U型的结构。
网络没有全连接层，只有相应的卷积层。
网络的最终的分割图像是与输入像素相同的图像。运用了overlap-title策略，使得在任意图像分类上都达到无缝分类。
对图片进行了镜像，使得图像边缘也能很好的分割。并且使得图片大小不再受限制与GPU内存。

三、方法

3.1 网络结构

网络左边为contracting path，右边为expansive path。

Contracting path为常规的3×3卷积结构，与ReLU，还有2×2的max pooling。每次下采样，都将featuremap的channel变为之前的两倍。
Expansive path为上采样过程，每次都是2*2的上采样卷积过程，并且将相应的feature channel减少为之前的一半。
与上采样对应的下采样过程中的feature会被连接。
cropping过程是必需的，因为每次卷积过程边缘的像素点都会损失。
最终的网络有23层的卷积层。

3.2 训练过程

运用带冲量的随机梯度下降算法(SGD)来对网络进行训练。运用较大的冲量momentum=0.99 ，这样网络训练时候 a large number of the previously seen training samples determine the update in the current optimization step

To minimize the overhead and make maximum use of the GPU memory, we favor large input tiles over a large batch size and hence reduce the batch to a single image.

Enery function

最终的energy function被定义为 pixel-wise soft-max over the final feature map，同时加了一个交叉熵函数。

其中，soft-max定义为：

表示在feature channel k的激活。
k表示feature channel的的第k个。
x表示像素点，Z表示patch的大小
K表示类别的个数
近似于maximum-function
例如果 k that has the maximum activation ak(x)
对于其他的k，则

图像最终在每个位置上的softmax和交叉熵结合为：

对于每个像素来说，标签为：
Weight map为：
weight map在实验前阶段通过计算获得：

w(x)用于平衡不同类别出现的频率
表示细胞与最近的边界的距离
表示细胞与第二近的边界的距离。

3.3 数据增强

这部分虽然论文中提及较少，但是数据增强对于网络来讲非常重要，并且文中提到了非常实用的数据增强的方法。

因为医学样本较少，但是仍然需要网络具有平移与旋转不变性，并且对形变和灰度变化鲁棒。

使用随机位移矢量在粗糙的3*3网格上(random displacement vectors on a coarse 3 by 3 grid)产生平滑形变(smooth deformations)。
位移是从10像素标准偏差的高斯分布中采样的。然后使用双三次插值计算每个像素的位移。
在contracting path的末尾采用drop-out 层更进一步增加数据。