一、正则化
一般来说，监督学习可以看做最小化下面的目标函数：
其中，第一项L(yi,f(xi;w)) 衡量我们的模型（分类或者回归）对第i个样本的预测值f(xi;w)和真实的标签yi之前的误差。因为我们的模型是要拟合我们的训练样本的嘛，所以我们要求这一项最小，也就是要求我们的模型尽量的拟合我们的训练数据。但正如上面说言，我们不仅要保证训练误差最小，我们更希望我们的模型测试误差小，所以我们需要加上第二项，也就是对参数w的规则化函数Ω(w)去约束我们的模型尽量的简单。其中这个规则化函数就是我们常见的L0,L1,L2范数。
模式识别理论中，常提到的正则化到底是干什么的？渐渐地，听到的多了，看到的多了，再加上平时做东西都会或多或少的接触，有了一些新的理解。
1. 正则化的目的：防止过拟合！
2. 正则化的本质：约束（限制）要优化的参数。
二、贝叶斯理论
贝叶斯决策理论是主观贝叶斯派归纳理论的重要组成部分。 贝叶斯决策就是在不完全情报下，对部分未知的状态用主观概率估计，然后用贝叶斯公式对发生概率进行修正，最后再利用期望值和修正概率做出最优决策。
贝叶斯决策理论方法是统计模型决策中的一个基本方法，其基本思想是：
1. 已知类条件概率密度参数表达式和先验概率
2. 利用贝叶斯公式转换成后验概率
3. 根据后验概率大小进行决策分类
设D1，D2，……，Dn为样本空间S的一个划分，如果以P(Di)表示事件Di发生的概率，且P(Di)>0(i=1，2，…，n)。
对于任一事件x，P(x)>0，如图
三、从贝叶斯角度理解正则化
从我们平时最为熟悉的最小二乘回归、Ridge 回归和LASSO 回归入手。
从概率论的角度：
Least Square 的解析解可以用 Gaussian 分布以及最大似然估计求得
Ridge 回归可以用 Gaussian 分布和最大后验估计解释
LASSO 回归可以用 Laplace 分布和最大后验估计解释
给定观察数据D, 贝叶斯方法通过最大化后验概率估计参数w。
其中
-
p(D|w)是似然函数(likelihood function): 参数向量w的情况下，观测数据D出现的概率
-
p(w)是参数向量的先验概率(prior)
对于似然函数部分有：
则，对后验概率取对数有：
当先验概率分布满足正态分布的时候
代入式子展开可以得到
对比下式
可以看到，似然函数部分对应于损失函数（经验风险），而先验概率部分对应于正则项。L2正则，等价于参数w的先验概率分布满足正态分布。
当先验概率分布满足拉普拉斯分布的时候
可以得到
L1正则，等价于参数w的先验概率分布满足拉普拉斯分布。
拉普拉斯分布是怎样的？
对比拉普拉斯分布和高斯分布，可以看到拉普拉斯分布在0值附近突出；而高斯分布在0值附近分布平缓，两边分布稀疏。对应地，L1正则倾向于产生稀疏模型，L2正则对权值高的参数惩罚重。
从贝叶斯角度，正则项等价于引入参数的先验概率分布。常见的L1/L2正则，分别等价于引入先验信息：参数符合拉普拉斯分布/高斯分布。
可以结合https://www.zhihu.com/question/23536142/answer/90135994知乎上的这篇解释一起看。