深度神经网络梯度消失和梯度爆炸问题

        当神经网络层数过多时，就容易出现梯度消失和梯度爆炸的问题，什么是梯度爆炸或者梯度消失，梯度爆炸就是一般在开始训练时，参数都是随机数，导致loss太大，反向传播的时候就会出现梯度太大，或者梯度消失，从而导致网络无法收敛，解决方法是梯度裁剪。

        梯度裁剪有普通裁剪和L2范数裁剪，每种方法又包含全局裁剪和部分裁剪两种。