语义分割的门控形状CNN Gated-SCNN: Gated Shape CNNs for Semantic Segmentation

语义分割的门控形状CNN Gated-SCNN: Gated Shape CNNs for Semantic Segmentation
Abstract:
(1)提出一种新的用于分割two-stream cnn 结构：shape stream和classical stream
(2)结构的关键是：一个new type of gate 用于连接两个分支的intermediate layers
(3)在classical stream中使用high-level activations to gate the lower-level activations in the shape stream.能够有效地消除噪音，是shape stream只关注相关的边界信息。
(4)Shape stream 可以使用非常shallow architecture. Boost performance on thinner and smaller objects。
作者原论文开源代码：Project Website: https://nv-tlabs.github.io/GSCNN/
Introduction:
(1)作者认为把颜色，shape，纹理信息一同放在一个deep cnn中不是很有效率。分出一个shape stream，直到very top layers之前，不会fuse两分支的信息。
(2)2个loss函数，用于分割和边缘检测
网络结构

(1)two stream：regular stream：常规的分割网络。Shape stream：提升边界的信息。
(2)设计Gated conv layer（GCL）和local supervision用于 shape stream处理相关的边界信息。
GCL是让shape stream only 处理相关的边界信息。
(3)regular stream use VGG or resnet。 Shape stream的input是regular stream第一个conv layer 的输出， output 是semantic boundary。有几个带门控单元的残差块组成，output格式为HW。使用二进制交叉熵作为loss函数binary cross entropy
(4)GCL停止自身的激活函数。Regular stream的高等级的场景理解信息会帮助 shape stream从一开始只关注相关的部分。Shape stream用浅的结构，在高的分辨率下处理图像。
(5)如图所示，一个特征11conv和res残差块，另一个特征11conv然后两者concat，sigmoid函数得到a（HW）。
(6)

(7)Loss

注：关于GCL如何操作的没看懂，