机器学习基石第六周笔记

这里写图片描述
我们知道mH(N)和break point会有关系,我们再进行上限处理,将mH(N)更加一般化为B(N,k)。N个数据中,每个点有叉和圈两种情况,任意k个数据都不能出现shatter,这样的数据种类个数最大值就是B(N,k)。B(N,k)是所有break point等于k的mH(N)的上限,我们不再考虑具体hypothesis是什么。
这里写图片描述
现在来讨论B(N,k)应该是多少。对于k=1的那一列,因为break point是1,所以任何N个数据都只能有一种情况,再加多一种就会有两个点shatter;对于k>N,B(N,k)=2^N;对于k=N,为了不shatter,只要减去一种情况,则B(N,k)=2^N-1;对于N>k(只要有break point,数据N一般都会大于break point,所以这是最关键的情形),我们得到公式:
这里写图片描述
所以,
这里写图片描述

最终我们通过推导得到:B(N,k)的上限确实是一个多项式。
这里写图片描述

我们可以说2D perceptrons的成长函数mH(N)是个多项式
这里写图片描述
值得注意的是,2D perceptrons的mH(4)=14,而它的bounding function B(4,4)=2^4-1=15,从这可以看出,B(N,k)确实是mH(N)的上限。

我们最后想要用mH(N)代替M,然而实际上整个式子还要经过一些复杂推导,最后是:
这里写图片描述
这里写图片描述

猜你喜欢

转载自blog.csdn.net/qq_38184698/article/details/82592959