5.1.8带神经网络的梯度爆炸

这节课主要讲了3个问题

1梯度消失

原因：几个很小的数相乘会得到一个趋近于0的数。

2梯度爆炸

原因：几个很大的数相乘会的到一个非常大的数，从而造成NaN（数据溢出的问题）

3经典RNN的缺点

原因：如果RNN神经网络的层数很深，通过反向传播法，信息很难从最后面传到前面。（这个和梯度爆炸和梯度消失有关系）

所以有一些科研人员设计了新的神经元，很好的解决了这个问题。