第5节课 Training versus Testing
上节课，我们主要介绍了机器学习的可行性。首先，由NFL定理可知，机器学习貌似是不可行的。但是，随后引入了统计学知识，如果样本数据足够大，且hypothesis个数有限，那么机器学习一般就是可行的。本节课将讨论机器学习的核心问题，严格证明为什么机器可以学习。从上节课最后的问题出发，即当hypothesis的个数是无限多的时候，机器学习的可行性是否仍然成立？
一、Recap and Preview
我们先来看一下基于统计学的机器学习流程图：
该流程图中，训练样本D和最终测试h的样本都是来自同一个数据分布，这是机器能够学习的前提。另外，训练样本D应该足够大，且hypothesis set的个数是有限的，这样根据霍夫丁不等式，才不会出现Bad Data，保证Ein≈Eout，即有很好的泛化能力。同时，通过训练，得到使Ein最小的h，作为模型最终的矩g，g接近于目标函数。
这里，我们总结一下前四节课的主要内容：第一节课，我们介绍了机器学习的定义，目标是找出最好的矩g，使g≈f，保证Eout(g)≈0；第二节课，我们介绍了如何让Ein≈0，可以使用PLA、pocket等演算法来实现；第三节课，我们介绍了机器学习的分类，我们的训练样本是批量数据（batch），处理监督式（supervised）二元分类（binary classification）问题；第四节课，我们介绍了机器学习的可行性，通过统计学知识，把Ein(g)与Eout(g)联系起来，证明了在一些条件假设下，Ein(g)≈Eout(g)成立。
这四节课总结下来，我们把机器学习的主要目标分成两个核心的问题：
上节课介绍的机器学习可行的一个条件是hypothesis set的个数M是有限的，那M跟上面这两个核心问题有什么联系呢？
我们先来看一下，当M很小的时候，由上节课介绍的霍夫丁不等式，得到Ein(g)≈Eout(g)，即能保证第一个核心问题成立。但M很小时，演算法A可以选择的hypothesis有限，不一定能找到使Ein(g)足够小的hypothesis，即不能保证第二个核心问题成立。当M很大的时候，同样由霍夫丁不等式，Ein(g)与Eout(g)的差距可能比较大，第一个核心问题可能不成立。而M很大，使的演算法A的可以选择的hypothesis就很多，很有可能找到一个hypothesis，使Ein(g)足够小，第二个核心问题可能成立。
M的选择直接影响机器学习的两个核心问题是否满足，不能太大也不能太小。
二、Effective Number of Line
我们先看一下上节课推导的霍夫丁不等式：
其中，M表示hypothesis的个数。每个hypothesis下的BAD events
Bm级联的形式满足下列不等式：
当M=∞时，上面不等式右边值将会很大，似乎说明BAD events很大，Ein(g)与Eout(g)也并不接近。但是BAD events Bm级联的形式实际上是扩大了上界，union bound过大。这种做法假设各个hypothesis之间没有交集，这是最坏的情况，可是实际上往往不是如此，很多情况下，都是有交集的，也就是说M实际上没那么大，如下图所示：
也就是说union bound被估计过高了（over-estimating）。所以，我们的目的是找出不同BAD events之间的重叠部分，也就是将无数个hypothesis分成有限个类别。
如何将无数个hypothesis分成有限类呢？我们先来看这样一个例子，假如平面上用直线将点分开，也就跟PLA一样。如果平面上只有一个点x1，那么直线的种类有两种：一种将x1划为+1，一种将x1划为-1：
如果平面上有两个点x1、x2，那么直线的种类共4种：x1、x2都为+1，x1、x2都为-1，x1为+1且x2为-1，x1为-1且x2为+1：
如果平面上有三个点x1、x2、x3，那么直线的种类共8种：
但是，在三个点的情况下，也会出现不能用一条直线划分的情况：
也就是说，对于平面上三个点，不能保证所有的8个类别都能被一条直线划分。那如果是四个点x1、x2、x3、x4，我们发现，平面上找不到一条直线能将四个点组成的16个类别完全分开，最多只能分开其中的14类，即直线最多只有14种：
由此可以推论出平面上线的种类是有限的，由一个点，两个点推论到N个点，有效直线数量总是小于2的N次方。（这一块不是太懂）
接下来介绍新的名词：二分类和成长函数（这一部分没有理解）
定义关于数据规模N 的成长函数(growth function)：数据规模为N 时，可能的dichotomy 的数量，记为m(N)。
下面列举几种成长函数：
（1）X=R（一维实数空间），h(x) = sign(x-a)， a 是参数。
它的成长函数： m(N) = N + 1 ； 当N > 1时，m(N) < 2^N
（2）X=R， h(x) = 1 iff x>=a or x<b, -1 otherwise. 有两个参数 a, b.
它的成长函数：m(N) = 0.5N^2 + 0.5N + 1； 当 N>2 时， m(N) < 2^N
（3）X=R^2（二维实数空间），h是一个任意凸多边形，多边形内部的为1，外部的为-1。
它的成长函数：m(N) = 2^N
我们引入一个重要概念：突破点(break point)：对于某种假设空间H，如果m(k)<2^k， 则k 是它的突破点。
对于上面提到的三个例子，（1）的突破点是2,3,4... （2）的图破点是3,4,... （3）没有突破点。
注意：如果k 是突破点，那么k+1, k+2, ... 都是突破点。
对于感知机，我们不知道它的生长函数，但是我们知道它的第一个突破点是4， m(4)=14 < 16
对于后面的证明，突破点是一个很重要的概念。