Fully Convolutional Networks for Semantic Segmentation这篇论文的主要内容是如何利用FCN网络进行语义分割。
语义分割(Semantic Segmentation)是图像像素级的分类，即对图像中每一个像素点进行分类。
FCN(Fully Convolutional Network)网络是作者定义的一种新颖的网络结构，它去除了全连接层，只留下卷积层。相较于全连接层固定的输入以及空间信息的丢失，卷积层能够接受任意尺寸图像的输入，保留空间信息，并且可以通过上采样输出同样大小的图像，这些特点都是其用于语义分割的优势。
作者的FCN网络结构有以下要点：
1、采用迁移学习(Transfer Learning)。
参考一些比较成功的网络如AlexNet、VGG16、GoogLeNet，在它们的基础上进行修改，将其全连接层换成卷积层。如下图：
结果上，Figure 1的下图比上图产生一个更多像素分类的热图(heatmap)。由于卷积操作优化带来的高效，FCN单个像素分类的速度比全连接层网络更快，并且其反向传播的过程同样拥有更高的效率。
比较不同的基础网络带来的性能差异，如下表所示，FCN-VGG16性能相对最好。
2、利用上采样(Upsampling)将卷积后缩小的图像恢复到原图大小。
观察图Figure 1，不断卷积后图像越来越小，其输出结果被作者称之为coarse output，这显然不是我们想要的，我们需要一个对原图每个像素进行预测的输出。因此需要用到上采样将小图变为和原图同样大小的大图。
这里采用的上采样方法包括简单的双线性插值(Bilinear interpolation)和反卷积(Deconvolution)，其中最后一层采用双线性插值上采样，中间层用双线性插值初始化，然后进行反卷积学习。
双线性插值不需要学习，速度快，效果可能不如反卷积好。反卷积的做法是在小图的像素间和周围进行插值后再卷积，可以获得更大的图像，相对于原来的小图，这种插值后卷积的步长可以看做小数，卷积的参数不固定，是可学习的。
3、利用跳层结构(Skip-layer)，提高预测精度。
直接运用上采样的方法将小图变大到原图大小，得到的图像显然是非常粗糙的，只能得到各个类别像素的大致分布，其边界、细节效果很差。本文用到一种巧妙的结构来提升预测图像边界、细节的效果，即跳层结构(Skip-layer)。
跳层结构的做法简而言之就是先稍微上采样使图像扩大一点，再将扩大后图像与拥有较高的分辨率的浅层图像叠加获取其细节信息以提升预测精度。如图Figure 2：
按照不同层次跳层结构的使用，本文设计了FCN-32s、FCN-16s、FCN-8s三个版本，其效果如下所示：
从图和数据中我们可以看到，结合更多浅层细节信息的FCN-8s性能最好。
Shift-And-Stitch是作者提到的另一种从coarse output到dense predictions的方法。具体做法为平移图像像素，空出区域用0填充，得到多张图像，每张图像单独卷积再将结果编织融合。因为经过作者测试Shift-And-Stitch效果不如跳层结构好，所以没有采用。
4、其它
优化上采用动量更新方式的随机梯度下降法(SGD with momentum)。在作者实验中，设置minibatch为20张图片，并针对不同的基础网络设置不同的学习率，结果对于学习率很敏感。针对全连接层转换来的卷积层采用0初始化的方式。
采用整张图像训练(whole images training)而非Patchwise training，因为作者发现每个batch图像数量较大的时候，后者显著的要花费更多时间但收敛率却没什么影响。如图Figure 4：
作者没有采用修改权重等方式去做Class Balancing，因为发现没有必要。在数据集增(Augmentation)上，作者尝试用镜像、抖动等方式增加数据集，但效果不显著。所有模型的训练和测试都是应用Caffe框架，使用NVIDIA Tesla K40cGPU。PASCAL VOC的数据集上，本文model较于其它model拥有更高的性能。
当然，还是有一些问题，如边缘还是有些不清晰，不准确，Figure 6第四行错误将救生衣分类成人等。