tf 中权重初始化方法

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/u012193416/article/details/86602236

最常见的两类方法就是 msra 的 he_initialization 和 Xavier initialization 。

def conv_var(kernel_size, in_channels, out_channels, init_method, name):
    shape = [kernel_size[0], kernel_size[1], in_channels, out_channels]
    if init_method == 'msra':
        return tf.get_variable(name=name, shape=shape, initializer=tf.contrib.layers.variance_scaling_initializer())
    elif init_method == 'xavier':
        return tf.get_variable(name=name, shape=shape, initializer=tf.contrib.layers.xavier_initializer())

 filters = conv_var(kernel_size=kernel_size, in_channels=channels, out_channels=channels, 
                    init_method='msra', name='first_train')

给滤波器进行权值初始化

如果使用 relu，则最好使用 he_initialization, 即 tf.contrib.layers.variance_scaling_initializer( )

在 relu 网络中，假定每一层有一半的神经元被激活，另一半为 0 ，所以要保持 variance 不变，只需要在 Xavier 的基础上再除以 2 。

如果激活函数使用 sigmoid 和 tanh，则最好使用 xavier initialization， 即 tf.contrib.layers.xavier_initializer_conv2d( )

xavier 是保持输入和输出的方差一致，避免了所有的输出值都趋向于0.