Abstract:
编解码网络是最先进的语义分割结构。由于自动驾驶的兴起，实时性需求不断提升。本文，提出了 fast segmentation convolutional neural network（Fast-SCNN），高分辨率（1024*2048）的实时分割网络。基于现有的两分支快速分割方法，我们提出 “learning to dowmsample” module 能同时计算多分辨率分支的 low-level 特征。我们的网络结合了低等级和高等级特征，在cityscapes得到68%的miou，123.5FPS。
Introduction：
本文认为语义分割典型的处理方法是带编解码结构的深层卷积神经网络，而许多实时的方法采用双分支或多分支结构。经常：大的感受野对于复杂的物体类别之间的联系十分重要（global context）；空间细节对于保留物体边缘十分重要；速度和精度之间的平衡。在双分支网络中，深层分支在低分辨率图像中提取 global context ，而浅层分支在全分辨率学习空间细节。更深层网络的计算成本采用小尺寸来克服，全分辨率只作用几层，所以实时的性能是可行的。
根据观察，初始的DCNN 层提取的是低等级特征，我们共享了两分支的 initial layers的计算。我们称之为 learning to down-sample技术。效果与编解码网络中的 skip connection 是相同的，但 skip 只运行一次， and 模型保持 shallow 来确保特征共享的有效性。最终 FSCNN 采用了 深度可分离卷积 和 inverse residual blocks。
本文使用 3 层卷积实现 learning to downsample ，1个标准conv，2个深度可分离卷积。步长均为 2 ，bn+relu。我们去处理depthwise 和 pointwise conv之间非线性（relu）。
learning to downsample ：多分辨率水平共享。作者认为前几层提取的低级特征相差不大，可以参数共享提升效率。
