深度学习_准备工作

常用函数

sigmoid:
在这里插入图片描述
Relu激活函数
sigmoid存在的主要缺点是 当网络层数较多的时候 容易发生梯度消失 因为在sigmoid中 x值过大或者过小 它的倒数值都会接近于0 ,这样便不能进行反向传播。而Relu函数不会
在这里插入图片描述
Softmax:
在这里插入图片描述

学习率问题

学习率过高过或过低都不行

在这里插入图片描述

反向传播:

反向传播即在 更新w的时候需要做的事情 一步一步的反向求导 更新参数

在这里插入图片描述

神经网络可以表达非线性的原因

由于有了激活函数 可以使得线性的WX经过激活函数后 表达出非线性效果
在这里插入图片描述

参数初始化

对于w若开始是0 则参数无法更新 一般采用随机初始化 w在0-1之间 对于B的初始化是取0或者1
在这里插入图片描述

猜你喜欢

转载自blog.csdn.net/weixin_40642306/article/details/88600657