以前总是不了解什么是正则化 今天看书 算是有点体会
根据阿卡姆剃刀原理，如果一件事情有两种解释，那么相对简单的那个解释更可能是正确的解释，即假设更少的那个。
这个原理用在神经网络中，给定一些训练数据和一种网络架构，很多组权重值（即很多种模型）都可以解释这些数据，简单的模型比复的模型更不容易过拟合。
这里简单模型指的是参数值分布的熵更小的模型，或者参数更少的模型。如果强制让模型权重即参数只能取较小的值，从而限制模型的复杂度，这使得权重值的分布更加规则，即熵更小，这种方法就叫做权重正则化，其实现方法是向网络损失函数中添加于较大权重值相关的成本：L1正则化 L2正则化。
下面总结一下防止神经网络过拟合的方法：
1 获取更多的训练数据
2 减小网络容量
3 添加权重正则化
4 添加dropout