Identity Mappings in Deep Residual Networks2016【论文理解】

前言

此论文是对Deep residual networks [1]残差网络模块结构的改进和实验，提出了残差模块第二版，此新的模块形式不管是在前向传播或者是反向传播都有很好的优势，并且在网络训练上更加的容易，收敛更快，精度更高，泛化性更低！

原始的残差模块

如下图， $X_l$为输入， $X_{l+1}$为输出，有如下公式 $y_l = h(X_l) + F(X_l, W_l)，$ $X_{l+1} = f(y_l)，$在下图所示的结构中 $h(X_l) = X_l，$ $F$为残差函数，如下图红色方框中的部分，其中 $f = Relu$为激活函数。

改进的残差模块

文中尝试创造一个直接的信息传递通道，推导表明，如果 $h(X_l)$和 $f(y_l)$都是恒等映射，那么信号可以直接从一个单元传播到任何其他单元，包括向前和向后传递。实验表明使用此结构能够使训练变得更加容易，如下图

绿色方框内的改进是经过了多种实验得到的结果，但最初的设想是为了构造一个 $f(y_l) = y_l$的单位映射，我们将激活函数(ReLU和BN)视为权重层的“预激活”，而不是传统意义上的“后激活”。此时的公式： $y_l = X_l + F(X_l, W_l)，$ $X_{l+1} = y_l，$

模块分析

对新的模块 $y_l = X_l + F(X_l, W_l)，$ $X_{l+1} = y_l，$两公式结合可以得到 $X_{l+1}= X_l + F(X_l, W_l)，$对此公式进行循环递归从 $l$浅层模块到 $L$深层模块的公式如下：
$X_L= X_l + \sum_{i=l}^{L-1}F(X_i, W_i)，$此时可以发现有两个特别有意思的性质：（1）对于L个模块的特征 $X_L$都可以由浅层特征 $X_l$加上一系列的残差函数求得；（2）任何特征都可以从 $X_0$求得，不管是前向传播和反向传播，信息都能到达网络的最底层，对梯度而言，不管梯度是有多小。
对于loss假设为 $\epsilon$，则根据链式法则求得反向传播：

$\frac{\partial \epsilon}{\partial X_l}=\frac{\partial \epsilon}{\partial X_L}(1 +\frac{\partial }{\partial X_l} \sum_{i=l}^{L-1}F(X_i, W_i) )$

每一个部分的梯度都只有两个部分构成，说明梯度不管多小都可以回传到最前层。其中 $\frac{\partial \epsilon}{\partial X_L}$直接传播信息而不涉及任何权重层， $\frac{\partial \epsilon}{\partial X_L}\frac{\partial }{\partial X_l} \sum_{i=l}^{L-1}F(X_i, W_i) ，$经过之前的权重层传递信息。所以， $\frac{\partial \epsilon}{\partial X_L}$直接保证了信息会之前传送到前层的每一层！！防止了梯度消失的问题！

结果图

不仅训练更加容易，而且精度更加高！

模块代码

keras

def BatchActivate(x):
    x = BatchNormalization()(x)
    x = Activation('relu')(x)
    return x
def convolution_block(x, filters, size, strides=(1,1), padding='same', activation=True):
    x = Conv2D(filters, size, strides=strides, padding=padding)(x)
    if activation == True:
        x = BatchActivate(x)
    return x
def residual_block(blockInput, num_filters=16, batch_activate = False):
    x = BatchActivate(blockInput)
    x = convolution_block(x, num_filters, (3,3) )
    x = convolution_block(x, num_filters, (3,3), activation=False)
    x = Add()([x, blockInput])
    if batch_activate:
        x = BatchActivate(x)
    return x

参考

[1]He, K., Zhang, X., Ren, S., Sun, J.: Deep residual learning for image recognition. In: CVPR. (2016)

扫描二维码关注公众号，回复： 5106547 查看本文章