版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/weixin_38870322/article/details/80169260
正则化的不同方法：
- L1正则化
- L2正则化
- Dropout
L1正则化和L2正则化
首先什么是正则化？正则化就是约束目标函数，使得目标函数能够更适应现实问题。机器学习出来的目标函数通常可以很好地拟合训练数据，但泛化能力差，这种成为过拟合现象，为了解决过拟合现象从而在目标函数中引入一个约束项。
图片来自吴恩达深度学习课程
如上图中的损失函数，当参数labda越大，W越小，目标函数越接近线性，越接近第一幅图，因此要选择合适的lambd。上图中选择的是L2范数正则化，那么L1和L2正则化有什么区别呢？
L1更倾向于挑出最重要的特征（被认为不重要的特征可能系数会被置零从而被去掉）而L2更倾向于控制所有的权重（不那么重要的特征会被赋予很小的系数），具体使用哪一个方法要在具体事例中通过实验得出。
Dropout
Dropout即为神经网络在训练中随即丢弃一些神经元，此方法也被应用到很多网络结构中。