二.嚼烂python神经网络编程理论篇-阅读笔记Six数据预处理

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接： https://blog.csdn.net/qq_35289736/article/details/93978690

原理解析与基础知识

2. 微观上：

2.14 权重更新成功范例：

我们来演示一个有数字的示例，让读者看看这种权重更新的方法是可以成功的。

我们要更新隐藏层和输出层之间的权重w1,1。当前，这个值为2.0。
让我们再次写出误差斜率。

2.15 准备数据：

仔细观察下图的S激活函数。你可以发现，如果输入变大，激活函数就会变得非常平坦。

我们应该重新调整目标值，匹配激活函数的可能输出，注意避开激活函数不可能达到的值。

我们可以在一个节点传入链接数量平方根倒数的大致范围内随机采样，初始化权重。因此，如果每个节点具有3条传入链接，那么初始权重的范围应该在从 -1/ $\sqrt{3}$到+1/ $\sqrt{-3}$ ，即±0.577之间。如果每个节点具有100条传入链接，那么权重的范围应该在-1/ $\sqrt{100}$到+1/ $\sqrt{-100}$ ，即±0.1之间。
下图总结了简单的方法和比较复杂的正态分布方法。

我们的基础理论讲解到这里就结束了，下一篇将介绍如何用python搭建自己的手写字体识别神经网络模型！