机器学习基石-笔记5

主要的几个概念：

1、M是什么？M 是hypothesis的个数，也就是直线，平面上有无限条直线。

2、dichotomy（二分类），dichotomy就是将平面上的点用一条直线分成正类（o）和负类（x），N个点最多有2^N种分类方式，即最多2N个dichotomy。

3、growth function（成长函数）mH(H) 是有效直线的个数(hythoesis个数)，数据个数为N时，小于等于2^N。

4、break point：mH(k)≠2^k的k的最小值，也就是成长函数（有效直线个数）不等于2^k 的数据个数K。

5、Bound Function B(N,k) 是指当break point为k的时候，成长函数mH(N)可能的最大值。

我们已经知道当M有限时，机器学习是可学习的，如果我们能够用一个有限的数来代替M, 就能证明机器学习是可学的。

M是什么？M 是hypothesis的个数，也就是直线，平面上有无限条直线。

dichotomy（二分类），dichotomy就是将空间中的点（例如二维平面）用一条直线分成正类（o）和负类（x）。

 dichotomy 是平面上能有效地将N个数据用直线分开的直线种类，它的值小于等于2^N，因为有有二分类结构没有直线能够划分出，比如下图 。

也就是说，虽然我们的有效直线，即hypothesis是有限的。

growth function（成长函数）mH(H) 是有效直线的个数，它的上界是2^N

 

break point：mH(k)≠2^k的k的最小值，也就是成长函数（有效直线个数）不等于2^k 的数据个数K

不同情况下的成长函数：

当N>k时，break point限制了mH(N)值的大小，也就是说影响成长函数mH(N)的因素主要有两个：数据集N的大小 和 break point k的大小

bounding function  B(N,k)  是当break point为k的时候，成长函数mH(N)可能的最大值。也就是说B(N,k)是mH(N)的上界