神经网络优化(初始化权重)


使隐藏层饱和了, 跟之前我们说的输出层饱和问题相似, 对于输出层,我们用改进的cost函数,比如cross-entropy, 但是对于隐藏层, 我们无法通过cost函数来改进

更好的方法来初始化权重?

因为传统的初始化权重问题是用标准正态分布(均值为0,方差为1)随机初始化的,这其实是存在不合理的部分。

标准正态分布:

可以看出真实数据的分布其实是在靠近坡峰的部分,符合正态分布的。

扫描二维码关注公众号,回复: 4060949 查看本文章





标准正态分布:

可以看出真实数据的分布其实是在靠近坡峰的部分,符合正态分布的。


猜你喜欢

转载自blog.csdn.net/qingyang666/article/details/70448076