理解极大似然估计和贝叶斯估计
1.概率（事件发生的概率，去估计事件出现的情况）
2.似然（通过事实，猜测事件最有可能发生的概率，这个概率表示成一个参数）：似然函数推测参数的分布
最大似然估计就是求似然函数的极值
3.贝叶斯估计（认为存在先验概率，求后验概率）
经验风险或者经验损失：损失函数的平均值（理解为训练集上的平均损失）
结构风险=经验风险+r*模型复杂度（模型越复杂，模型复杂度越大）
当样本容量较小时，仅仅使经验风险最小化容易造成过拟合；为防止过拟合，可采用结构风险最小化
正则化：选择经验风险和模型复杂度同时小的模型，即正则化就是实现结构风险最小化
极大似然估计属于经验风险最小化，贝叶斯估计属于结构风险最小化
监督学习分为生成学习和判别学习
生成学习先根据数据学习联合概率，再得到条件概率；判别学习直接根据数据学习条件概率。生成学习的收敛速度快，判别学习的准确率高
朴素贝叶斯和隐马尔科夫模型属于生成学习；感知机，K近邻和决策树属于判别学习
范数
l0范数表示为向量中非零元素的个数；最稀疏的解表示为向量中零元素越多越好
l1范数表示向量中各元素绝对值的和
l2范数表示向量的模：各元素平方的和
线性回归模型+l1正则化：Lasso模型；线性回归模型+l2正则化：Ridge模型（岭模型）
svm
超平面：y(wx+b)=0
支持向量满足：y(wx+b)=1