深度学习-梯度消失和梯度爆炸

1、梯度消失和梯度爆炸的定义

梯度消失
在神经网络中，当前面隐藏层的学习速率低于后面隐藏层的学习速率，即随着隐藏层数目的增加，分类的准确率反而下降。这种现象称为梯度消失。
梯度爆炸
在神经网络中，当前面隐藏层的学习速率高于后面隐藏层的学习速率，即随着隐藏层数目的增加，分类的准确率反而下降。这种现象称为梯度消失。

梯度消失和梯度爆炸是一样的，但是产生的原因不一样。

！！！梯度消失和梯度爆炸属于梯度不稳定的范畴。

2.梯度消失和梯度爆炸的产生原因

梯度消失

• [1] 隐藏层的层数过多
• [2] 采用了不合适的激活函数

梯度爆炸

• [1] 隐藏层的层数过多
• [2] 权重的初始化值过大

梯度消失和梯度爆炸的解决方法

梯度消失和梯度爆炸都是因为网络太深，网络权值更新不稳定造成的，本质上是因为梯度反向传播中的连乘效应。

• [1] 用其他激活函数代替原来的激活函数
• [2] batch normalization
• [3]预训练加微调
• [4]梯度剪切、权重正则（针对梯度爆炸）
• [5]使用残差结构
• [6]使用LSTM网络