《统计学习方法》（第二版）1.3
1.3 统计学习方法的三要素
1.3.1 模型（model）
模型就是所要学习的条件概率分布或决策函数。
1.3.2 策略（strategy）
损失函数和风险函数
损失函数度量模型一次预测的好坏。
风险函数度量平均意义下模型预测的好坏。
损失函数loss function / 代价函数cost function
0-1损失函数
\[ L(Y, f(X)) = \left\{ \begin{aligned} 1 && Y \ne f(X) \\ 0 && Y = f(X) \\ \end{aligned} \right. \]平方损失函数
\[ L(Y, f(X)) = (Y-f(X))^2 \]绝对损失函数
\[ L(Y, f(X)) = |Y-f(X)| \]对数损失函数 / 对数似然损失函数
\[ L(Y, f(X)) = -logP(Y|X) \]
风险函数risk function
\[ R_{exp}(f)=E_p[L(Y,f(X))]=\begin{equation*} \int_{X \times Y} L(y,f(x))P(x,y)dxdy \end{equation*} \]
经验风险empirical risk / 经验损失empirical loss
\[ R_{emp}(f)=\frac{1}{N}\sum_{i=1}^NL(y_i,f(x_i)) \]
结构风险structural risk
\[ R_{srm}(f)=\frac{1}{N}\sum_{i=1}^NL(y_i,f(x_i))+\lambda J(f) \]
其中\(J(f)\)为模型的复杂度。模型越复杂，\(J(f)\)就越大。复杂度表示了对复杂模型的惩罚。
经验风险最小化（empirical risk minimization, ERM）
思想：经验风险最小的模型是最优的模型
e.g.极大似然估计
缺点：样本容量很小时，容易过拟合（over-fitting）
结构风险最小化（structural risk minimization, SRM）
思想：结构风险最小的模型是最优的模型；等价于正则化；在经验风险上加上表示模型复杂度的正则化项/罚项，结构风险小需要经验风险与模型复杂度同时都小。
e.g.贝叶斯估计中的最大后验概率估计
优点：防止过拟合，对训练数据以及未知的测试数据都有较好的预测。
1.3.3 算法（algorithm）
学习模型的具体计算方法。