网络参数初始化

参考:《解析深度学习——卷积神经网络原理与视觉实践》

网址:http://lamda.nju.edu.cn/weixs/book/CNN_book.pdf

实际应用中,随机参数服从高斯分布或均匀分布

一、Xaiver参数初始化方法和He参数初始化方法

(1)Xaiver参数初始化方法

随机初始化+方差大小的规范化

, n指输入神经元个数n_in,也可以指定为(n_in+n_out)/2。

Xaiver参数初始化方法收敛速度快原因:维持了输入输出数据分布方差的一致性。具体分析:

缺点:未考虑非线性函数对输入的影响。

(2)He参数初始化方法

将Xaiver参数初始化方法中方差规范化的分母改为

(3)上述两种方法比较

(4)使用均匀分布的修改

Xaiver参数初始化方法

He参数初始化方法

二、其他参数初始化方法

(1)使用预训练模型的参数进行初始化——首选

(2)数据敏感的参数初始化方式 ,是一种根据自身任务数据集量身定制的参数初始化方式,读者在进行自己训练任务时不妨尝试一下。

猜你喜欢

转载自blog.csdn.net/Z199448Y/article/details/85833056
今日推荐