【台大林轩田《机器学习基石》笔记】Lecture 4——Feasibility of Learning

Lecture 4:Feasibility of Learning

Learning is Impossible?

考虑上图的例子，3个分类为-1的九宫格和3个分类为+1的九宫格，对最下方的九宫格根据上面的6个样本的规律进行分类：

• 按照对称图形为+1类，非对称图形为-1类，那么最下方的例子分类为+1
• 按照左上角是黑色为-1类，左上角为白色为+1类，那么待分类九宫格被分成-1类

看起来这两种分类方法都是合理的，因为就训练集中的六个九宫格而言，这些分类方法都取得很好的效果

这个例子中$f_1——f_8$是8个假设，显然这八个假设在训练集（前五个x）上都取得了完全正确的分类结果，但是对于另外三个测试数据，这些假设的结果之间存在差异

也就是说，我们任选一个假设$g=f_i$，它在训练集上的效果满足$g\approx f$,但是测试未知数据时，$g\approx f$不一定成立，而我们进行机器学习的目的就是希望学习到的模型能够在未知数据的预测上有较好的结果，而不是简单的拟合已知数据集。

这个例子也告诉我们机器学习的一个特性：“没有免费的午餐”定理，简言之，也就是说没有一种机器学习算法是适用于所有情况的。机器学习算法无法保证在训练集$\mathcal{D}$之外的数据集上能够取得好的结果，除非加一些假设条件。

Probability to the Rescue

上一小节得出结论是：在严格的条件下机器学习是无法保证正确预测或者分类的，那么是否有一些工具可以让我们对未知的$f$做一些推论？

假设有一个装有无数个橙色球与绿色球的罐子，如何推断其中橙色球占比？

按照统计学的做法：从罐子中取样N个球，计算这N个球当中橙色的比例，就估计出整个罐子中橙色球的比例。

抽到的样本中橙色球占比不能说与整个罐子橙色球占比一样，但是二者很可能是非常接近的

从上图中的Hoeffding不等式中可以看出，当N很大时，$v$和$\mu$相差大于$ϵ$的概率很小，这时候得到的结论$v=\mu$被称为PAC.

Connection to Learning

把这个例子与机器学习的概念相联系：

• 机器学习中假设$h(x)$与目标函数$f$相等的可能性类比于罐子中橙色球比例
• 罐子里的一个个球类比于机器学习的样本空间的一个个$x\in \mathcal{X}$
• 橙色球类比假设$h(x)$与$f(x)$不相等
• 绿色球类比假设$h(x)$与$f(x)$相等
• 从罐子中抽的N个球代表机器学习的训练样本
• 两种样本都是独立同分布的

如果N足够大，并且是独立同分布的，那么从样本中$h(x)\ne f(x)$的概率就能推导抽样样本外的所有样本中$h(x)\ne f(x)$的概率

下图更新了机器学习的流程图，从样本空间$\mathcal{X}$中取样$N$个样本作为训练集，然后使用训练集中的样本对假设$h$与目标$f$一致进行衡量。

上图中的$E_{out}$指在整个样本空间上$h$与$f$不相等的概率，$E_{in}$指在抽样样本中二者不相等的概率。

根据Hoeffding不等式：

如果能够保证$E_{in}$很小，那么就能推断出$E_{out}$很小，也就是在该数据分布下假设与目标很接近。

之前的分析不能算真正的学习过程，因为都是在一个固定的假设函数$h$上进行的，这更像是对于$h$的验证过程。真正的学习中如果一直选择$h$，那么可能出现$E_{in}$较大的情况，所以学习过程要能在假设集合中选出最优的$g$，而不是选择固定的一个$h$。

验证过程的流程图：

Connection to Real Learning

假设现在有$M$个假设，其中有一个在训练样本上全对，那要不要选择这个假设？

举个栗子：150人抛硬币，每人抛五次，至少有一个人五次都是正面朝上的概率是：(1-150个人都至少有一次反面朝上的概率)
$$1-(\frac{31}{32}{)}^{150}>99\%$$
这个概率是很大的，类比一下，如果有很多的假设，有一个假设在训练样本上全对的概率是很大的，但你不能说这个假设在全部样本上都能得到正确结果。

Hoeffding不等式保证了大多数情况下抽取的样本和所有的样本分布是差不多的($E_{in}$与$E_{out}$相差不大)，但是也有可能出现不好的情况，也就是BAD Sample

下图可能更直观，$D_i$是抽样得到的数据集，Hoeffding不等式保证的是每一行不会有太多的格子是BAD

对于存在多个假设的情况，只要$D_i$在某个假设上属于BAD Data，那么$D_i$就是BAD Data

我们现在想知道的是，选到不好的Data的几率是多少：

上图说明，当M有限，且N足够大的时候，Bad Data出现的概率就会很低，在这种情况下，就可以选择一个合理的算法$\mathcal{A}$,算法选择$E_{in}$最小的假设作为$g$，这样就能保证$E_{out}$足够小，证明机器学习是可行的。

Summary

这节课主要介绍了机器学习的可行性，讨论问题是否可以使用机器学习解决。

首先通过NFL定理，说明不加条件的机器学习是没法做到的

然后通过一些统计学上的假设，说明了对于一个固定的$h$，如果取样数$N$足够大，能保证$E_{in}\approx E_{out}$,但是如果存在多个假设,那么对于另外一个假设就不一定满足$E_{in}\approx E_{out}$

最后对于多个$h$的情况下，只要保证假设数量有限且$N$足够大，就能保证算法选择的$g$是满足$E_{in}\approx E_{out}$的（也就是选中BAD Data的概率足够小），如果再加上$E_{i}n\approx 0$，则说明了机器学习是可行的。

下，只要保证假设数量有限且$N$足够大，就能保证算法选择的$g$是满足$E_{in}\approx E_{out}$的（也就是选中BAD Data的概率足够小），如果再加上$E_{i}n\approx 0$，则说明了机器学习是可行的。