如何才能直观解释正则化减少过拟合的原理？
（1）过拟合
以下图为例。High Bias（高偏差）就是欠拟合，High Variance（高方差）就是过拟合。
为了将过拟合的模型变为正好（Just Right），从图中直观上来看，只需要减小高次项的权重。
这就是降低过拟合的直观理解。从数学上，我们用正则化来降低模型的过拟合程度。
（2）正则化
简单来说，所谓正则化，就是在原Cost Fucntion上添加正则化项（如下图）。
正则化项能减少模型的非线性程度，从而降低模型的过拟合。从图中来看，正则化项能将过拟合的模型（蓝色）变为Just Right的模型（粉红色）。
（3）为什么正则化有效？
分情况讨论
- A. 对于线性模型，其添加了
正则化项的Cost Function如下图。
直观的理解，如果我们的正则化系数（lambda）无穷大，则权重w就会趋近于0。权重变小，非线性程度自然就降低了。
扫描二维码关注公众号，回复：
2131303 查看本文章
- B. 对于神经网络，其激活函数（以tanh为例）如下图
直观的理解，如果我们的正则化系数（lambda）无穷大，则权重w就会趋近于0。权重变小，激活函数输出z变小。z变小，就到了激活函数的线性区域，从而降低了模型的非线性化程度。
参考
Andrew NG的视频