神经网络解决过拟合问题

1.惩罚性成本函数

            惩罚性成本函数是在损失函数上加一个惩罚项，如下图所示，下图中加了一个权重的平方和，如果该系数很大，在训练过程中要得到最小损失，就必须要某些权重很小或者接近于0，所以可以达到减少网络的复杂度。

2.dropout

               dropout就是指在神经网络训练过程中随机对于某些权重不更新，有助于防止网络对某条路径过度依赖

3. Early stopping

                 在10个epoch过后测试一次对于测试样本的反应，然后再继续训练

4.动量

                加一个动量项有可能跳过局部最小值