【机器学习笔记六】------Theory of Generalization(一般化理论)

第五节主要讨论M的数值大小对机器学习的影响。如果M很大,那么就不能保证机器学习有很好的泛化能力,所以问题就转化为验证M有限,即最好按照多项式成长。然后通过引入了成长函数m_{H}(N)和dichotomy以及break point的概念。提出2D perceptrons的成长函数m_{H}(N)是多项式级别的猜想。以下探讨这个多项式的形成。

Restriction of Break Point

之前介绍的四种成长函数与break point之间的关系为:

计算k=2的时候,不同的N值成长函数m_{H}(N)是多少?N=1时,m_{H}(N)=2;当N=2时,由break point=2知任意两点都不能被shattered(即不能分解为2^{N}中dichotomies),m_{H}(N)最大值只能是3;当N=3时,简单绘图分析可得m_{H}(N)=4,即最多只有4种dichotomy。

可以发现,当N>k时,break point限制了m_{H}(N)值的大小,也就是说影响成长函数m_{H}(N)的因素主要有两个:

抽样数据集N

break point k(这个变量确定了假设的类型)

那么,给定N和k,就能够证明m_{H}(N)的最大值的上界是多项式的,则根据hoeffding不等式,使用m_{H}(N)代替M,得到机器学习是可行的。因此,证明了m_{H}(N)的上界是poly(N),是我们的目标。

Bounding Function:Basic Cases

扫描二维码关注公众号,回复: 3057581 查看本文章

猜你喜欢

转载自blog.csdn.net/m0_38103546/article/details/82377293