统计学习方法之统计学习概论
统计学习(statistical learning)，也称为统计机器学习(statistical maching learning)。
统计学习由监督学习(supervised learning)、无监督学习(unsupervised learning)和强化学习(reinforcement learning)等组成。
统计学习方法可以概括如下：从给定的、有限的、用于学习的训练数据集合出发，假设数据是独立同分布产生的；并且假设要学习的模型属于某个函数的集合，称为假设空间(hypothesis space)；应用某个评价准则(evaluation criterion)，从假设空间中选取一个最优模型，使它对已知的训练数据及未知的测试数据在给定的评价准则下有最优的预测；最优模型的选取由算法实现。这样，统计学习方法包括模型的假设空间、模选择型的准则以及模型学习的算法。称其为统计学习方法的三要素，简称为模型(model)、策略(starategy)和算法(algorithm)。
统计学习的分类
1.基本分类
①监督学习
本质是学习输入到输出的映射的统计规律。
输入变量X和输出变量Y有不同的类型，可以是连续的，也可以是离散的。若输入变量与输出变量均为连续变量的预测问题称为回归问题；输出变量为有限个离散变量的预测问题称为分类问题；输入变量与输出变量均为变量序列的预测问题称为标注问题。
监督学习假设输入与输出的随机变量X和Y遵循联合概率分布P(X,Y)。P(X,Y)表示分布函数，或分布密度函数。
②无监督学习
本质是学习数据中的统计规律或潜在结构。
③强化学习
强化学习是指智能系统在与环境的连续互动中学习最优行为策略的机器学习问题。
本质是学习最优的序惯决策。
④.半监督学习与主动学习
2.按模型分类
①概率模型与非概率模型
在监督学习中，概率模型取条件概率分布形式P(y|x)，非概率模型取函数形式y=f(x)。在无监督学习中，概率模型取条件概率分布形式P(z|x)或P(x|z)，非概率模型取函数形式z=g(x)。
在监督学习中，概率模型是生成模型，非概率模型是判别模型。
②线性模型与非线性模型
③参数化模型与非参数化模型
3.按算法分类
分为在线学习(online learning)与批量学习(batch learning)。
在线学习是指每次接受一个样本，进行预测，之后学习模型，并不断重复该操作的机器学习。
批量学习一次接受所有数据，学习模型，之后进行预测。
在线学习通常比批量学习更难，很难学到预测准确率更高的模型，因为每次模型更新中，可利用的数据有限。
损失函数和风险函数
损失函数度量模型一次预测的好坏，风险函数度量平均意义下模型预测的好坏。损失函数是f(X)和Y 的非负实值函数，记做L(Y,f(X))。
1)0-1损失函数(0-1 loss function)
2)平方损失函数(quadratic loss function)
3)绝对损失函数(absolute loss function)
4)对数损失函数(logarithmic loss function)或对数似然损失函数(log-likelihood loss function)
由于模型的输入输出是随机变量，遵循联合分布P(X,Y)，所以损失函数的期望是
这是理论上模型f(X)关于联合分布P(X,Y)的平均意义下的损失，称为风险函数(risk function)或期望损失(expected loss)。
学习的目标就是选择期望风险最小的模型。由于联合分布P(X,Y)是未知的，
Rexp(f)不能直接计算。实际上，如果知道联合分布P(X,Y)，可以从联合分布直接求出条件概率分步P(Y|X)，也就不需要学习了。正因为不知道联合概率分步，所以才需要进行学习。
给定一个训练数据集
模型f(X)关于训练数据集的平均损失称为经验风险(empirical risk)或经验损失(empirical loss)，记做Remp
期望风险Rexp(f)是模型关于联合分布的期望损失，经验风险Remp(f)是模型关于训练样本集的平均损失。根据大数定律，当样本容量N趋于无穷时，经验风险Remp(f)趋于期望风险Rexp(f)。所以一个很自然的想法是用经验风险估计期望风险。但是，由于现实中训练样本数据有限，甚至很小，所以用经验风险估计期望风险常常并不理想，要对经验风险进行一定的矫正。这就关系到监督学习的两个基本策略：经验风险最小化和结构风险最小化。
经验风险最小化和结构风险最小化
经验风险最小化(empirical risk minimization,ERM)的策略认为，经验风险最小的模型是最优的模型。根据这一策略，按经验风险最小化求最优模型就是求解最优化问题
其中，F是假设空间。
当样本容量足够大时，经验风险最小化能保证有很好的学习效果。比如，极大似然估计(maximum likeihood estimation)就是经验风险最小化的一个例子。当模型是条件概率分布、损失函数是对数损失函数时，经验风险最小化就等价于极大似然估计。
但是，当样本容量很小时，经验风险最小化学习的效果就未必很好，会产生过拟合现象。
结构风险最小化(structural risk minimization,SRM)是为了防止过拟合而提出的策略。结构风险最小化等价于正则化。结构风险在经验风险上加上表示模型复杂度的正则项或罚项。在假设空间、损失函数以及训练数据集确定的情况下，结构风险的定义是：
其中J(f)为模型的复杂度，是定义在假设空间F上的泛函。模型f越复杂，复杂度J(f)就越大。也就是说，复杂度表示了对复杂模型的惩罚。λ≥0是系数，用以权衡经验风险和模型复杂度。结构风险小需要经验风险与模型复杂度同时小。结构风险小的模型往往对训练数据以及未知的测试数据都有较好的预测。比如，贝叶斯估计中的最大后验概率估计(maximum posterior probability estimation,MAP)就是结构风险最小化的一个例子。当模型是条件概率分步、损失函数是对数损失函数、模型复杂度由模型的先验概率表示时，结构风险最小化就等价于最大后验概率估计。
结构风险最小化的策略认为结构风险最小的模型是最优的模型。所以求最优模型，就是求解最优化问题
