机器学习的一些概念

增长函数(growth function):增长函数表示假设空间H对m个示例所能赋予标记的最大可能结果数。对于m个示例的数据集,最多只能有2^m个标记结果,而2很多情况下达不到2^m个。
比如说现在数据集有两个数据点,考虑一种二分类的情况,可以将其分类成A或者B,则可能的值有:AA、AB、BA和BB,所以这里增长函数的值为4.

对分(dichotomy):对于二分类问题来说,H中的假设对D中m个示例赋予标记的每种可能结果称为对D的一种dichotomy。对分也是增长函数的一种上限。

打散(shatter):打散指的是假设空间H能实现数据集D上全部示例的对分,即增长函数=2^m。

断点(break point):我们希望假设空间H的增长函数越小越好(这样子假设空间比较简单),或者至少不要增长的太快——如果按照这种趋势增长那简直是没天理了。上面说道了,随着m的增大,一定会出现一个m使假设空间无法shatter。这种不满足 的情况说明增长函数从这个点开始变缓了,是一个可喜可贺的重大突破,所以我们把第一个不满足shatter的m值称为break point(这里翻译成突破点)。
(以上4个概念引用于知乎用户 王留行)

上限函数bounding function:当break point = k是,成长函数的最大值mh(N)。

VC Dimension:最大的non-break point的点的正式名称。(最大non-break point是break point减1)

猜你喜欢

转载自blog.csdn.net/timmy_attack/article/details/79913783