《统计学习方法》（第二版）1.6 ~ 1.8
1.6 泛化能力
用学到的模型\(\hat f\)对未知数据预测的误差即为泛化误差（generalization error）。
泛化误差反映了学习方法的泛化能力。事实上，泛化误差就是所学习到的模型的期望风险。
泛化误差上界（generalization error bound）
性质：
- 是样本容量的函数，当样本容量增加时，泛化上界趋于0；
- 是假设空间容量的函数，假设空间容量越大，模型就越难学，泛化误差上界就越大。
二类分类问题的泛化误差上界
期望风险\(R(f) = E[L(Y, f(X))]\)
经验风险\(\hat R(f)=\frac{1}{N}\sum_{i=1}^NL(y_i,f(x_i))\)
经验风险最小化函数\(f_N=\arg \min_{f \in F} \hat R(f)\)
- \(\arg \min f(x)\)是指使得函数\(f(x)\)取得\(\min\)时所有自变量\(x\)的集合
\(f_N\)的泛化能力\(R(f_N)=E[L(Y, f_N(X))]\)
定理对二类分类问题，当假设空间是有限个函数的集合\(F=\{f_1,f_2,\cdots,f_d\}\)时，对任意一个函数\(f \in F\)，至少以概率\(1-\delta，0 \lt \delta \lt 1\)，以下不等式成立：
\[ R(f) \le \hat R(f)+\epsilon(d,N,\delta) \]
其中，
\[ \epsilon(d,N,\delta)=\sqrt{\frac{1}{2N}(logd+log\frac{1}{\delta}} \]
第1项是训练误差，第2项时N的单调递减函数，也是\(\sqrt{logd}\)阶的函数。
1.7 生成模型与判别模型
\[ 监督学习方法 \left\{ \begin{aligned} 生成方法 && → && 生成模型\\ 判别方法 && → && 判别模型\\ \end{aligned} \right. \]
生成方法
模型表示了给定输入X产生输出Y的生成关系。
生成方法可以还原出联合概率分布P(X,Y)，而判别方法则不能；
生成方法的学习收敛速度更快，即当样本容量增加的时候，学到的模型可以更快地收敛于真实模型；
当存在隐变量时，仍可以用生成方法学习，此时判别方法就不能用。
e.g.朴素贝叶斯法和隐马尔可夫模型
判别方法
由数据直接学习决策函数f(X)或者条件概率分布P(Y|X)作为预测模型，即判别模型。
判别方法直接学习的是条件概率P(Y|X)或决策函数f(X)，直接面对预测，往往学习的准确率更高；
由于直接学习P(Y|X)或f(X)，可以对数据进行各种程度上的抽象、定义特征并使用特征，因此可以简化学习问题。
e.g.k近邻法、感知机、决策树、逻辑斯谛回归模型、最大熵模型、支持向量机、提升方法和条件随机场
1.8 监督学习应用
1.8.1 分类
在监督学习中，当输出变量Y取有限个离散值时，预测问题便成为分类问题。
e.g.二分问题
TP：将正类预测为正类数
FN：将正类预测为负类数
FP：将负类预测为正类数
TN：将负类预测为负类数
评价指标：
\[ 精确率：P=\frac{TP}{TP+FP} \]
\[ 召回率：R=\frac{TP}{TP+FN} \]
\[ 精确率和召回率的调和均值：\frac{2}{F_1}=\frac{1}{P}+\frac{1}{R}\\ F_1=\frac{2TP}{2TP+FP+FN} \]
e.g.k近邻法、感知机、朴素贝叶斯法、决策树、决策列表、逻辑斯谛回归模型、最大熵模型、支持向量机、提升方法、贝叶斯网络、神经网络、Winnow
1.8.2 标注
标注问题的输入是一个观测序列，输出是一个标记序列或状态序列。
example：对一个单词序列预测其对应的词性标记序列。
e.g.隐马尔可夫模型、条件随机场
1.8.3 回归
回归模型表示从输入变量到输出变量之间映射的函数。
example：股价预测