简单谈谈神经网络中的梯度消失、爆炸原因及解决办法

为什么要使用梯度更新规则？

我们先来简单说一下梯度小时的根源–深度神经网络和反向传播。目前深度学习方法中，深度神经网络的发展造就了我们可以构建更深层的网络完成更复杂的任务，深层网络比如深度卷积网络，LSTM等等，而且最终结果表明，在处理复杂任务上，深度网络比浅层的网络具有更好的效果。但是，目前优化神经网络的方法都是基于反向传播的思想，即根据损失函数计算的误差通过梯度反向传播的方式，指导深度网络权值的更新优化。

这样做是有一定原因的，首先，深层网络由许多非线性层堆叠而来,每一层非线性层都可以视为是一个非线性函数$f(x)$因此整个深度网络可以视为是一个复合的非线性多元函数