残差神经网络 Residual Network

问题提出

随着网络一直堆叠加深，网络会遇到梯度消失或者是梯度爆炸问题，而这个问题，已经可以通过在初始化的时候归一化输入解决，但是当网络最终收敛之后，又会出现“退化”问题，导致准确率降低，因此尽管可以不断堆叠网络层数，让其可以训练并且收敛，但是遇到退化问题仍然没办法。