ISLR 读书笔记二：评估模型的准确性

统计学习中，有一条天下没有免费的午餐定理：没有哪一个方法可以对任何数据集，都胜过其他任何方法。所以，在具体实践中，选择最好的方法，成为了一个具有挑战性的问题。但是要如何比较模型的好坏呢？以下就介绍了一些评估模型好坏的概念。

MSE

MSE是均方误差（mean squared error）的缩写，用来刻画模型拟合程度的好坏，多用于线性回归模型。
$$MSE=\frac{1}{n}\sum _{i=1}^n(y_i-\hat{f}(x_i){)}^2$$
MSE分为训练MSE（training MSE）和测试MSE（test MSE）。顾名思义，训练MSE，是用训练集计算产生的MSE，测试MSE，是用测试集计算产生的MSE。
通常，我们更希望获得较小的测试MSE，而不是较小的训练MSE，因为我们希望该模型在未被检测到的数据上，也能产生好的效果。所以，通常我们更青睐于使得测试MSE最小的模型。
需要注意的是，训练MSE和测试MSE看似关系密切，但其实不然：较小的训练MSE并不能保证较小的测试MSE。所以，那些训练MSE较小的模型，未必就有较小的测试MSE。
在实践中，训练MSE是容易计算的，而测试MSE往往比较困难计算。交叉验证（cross-validation）就是一类用来评估测试MSE的方法。

偏差 VS 方差

数学上可以证明，测试MSE的方差，可以由如下三部分组成：
$$E(y_0-\hat{f}(x_0){)}^2=Var(\hat{f}(x_0))+[Bias(\hat{f}(x_0)){]}^2+Var(ϵ)$$
这说明测试MSE与 $\hat{f}(x_0)$ 的偏差（bias）和方差（variance）有关。所以为了让测试MSE尽可能的小，我们希望让 $\hat{f}(x_0)$ 的偏差和方差尽可能的小。但是很遗憾，这两者往往是相互制约的关系：较小的偏差意味着较大的方差；较小的方差意味着较大的偏差。因此这就需要在较小的偏差和较小的方差之间，进行权衡（trade-off）。

分类问题

分类问题指的是因变量是定性数据的问题。评估分类问题模型方法的常见标准是错误率（error rate）：错误估计所占的比例。
$$\frac{1}{n}\sum _{i=1}^{n}I(y_i\ne {\hat{y}}_i)$$
错误率同样分为训练错误率（training error）和测试错误率（test error），好的分类模型是将测试错误率尽可能的小。
下面介绍两种分类模型：

贝叶斯分类器

数学上可以证明，使得测试错误率最小的，是一类非常简单的分类器：在已知自变量值的前提下，将最有可能的类，分配给每一个测试数据。即：已知自变量为 $x_0$ 将 $j$ 分配给每一个测试数据， $j$ 是使得如下条件概率最大的类
$$Pr(Y=j|X=x_0)$$
这就是贝叶斯分类器（Bayes classifier）
用贝叶斯分类器得到的测试错误率称作贝叶斯错误率（Bayes error rate）：
$$1-E(\underset{j}{\max }Pr(Y=j|X))$$

KNN

理论上我们总是希望使用贝叶斯分类器，但是对现实数据来说，往往不知道给定X下Y的条件概率，所以贝叶斯分类器往往只有理论价值。
实际运用中，可以采用模型来估计条件概率。比如K近邻（K-nearest neighbours，简称KNN）就是一种方法。首先选定一个正整数$K$，然后将每一个训练数据，分配给离它最相近的K个数据中，出现次数最多的类：
$$Pr(Y=j|X=x_0)=\frac{1}{K}\sum _{i}I(y_i=j)$$
需要注意的是这里的 $K$ 值需要合理选取，否则会造成过拟合或者欠拟合。