04 Feasibility of Learning

一.Learning is Impossible?

机器学习的目标:演算法A根据给定数据集D从假设空间H中选择一个与f最为接近的g,还要保证g与f在给定数据集之外的数据上表现也相似。

在资料以外的部分,g和f一不一样是不知道的,因为f是不知道的,但是我们想要知道资料以外的部分g和f是否接近,因此需要加一些假设:

霍夫丁不等式:有一个装有绿色小球和黄色小球的罐子(假设球数无限),从中进行N次有放回的取球实验,在这N次实验中取出黄色小球的频率为ν只要N足够大,就可以用ν来估计μ,即罐子中黄色小球的实际概率。

足够大的N或者足够小的范围=>v和μ有很大的可能性是相似的。

将霍夫丁不等式与学习相联系,当h选定时,保证D里样本数N足够大且样本点是独立同分布的,就能保证h在整个输入空间里的表现(异常点的概率)与数据集内的表现(D里异常点的频率)在一定的概率范围内近似相等。

 以上只是说明了当g给定时,验证g和f在输入空间上接不接近,但并没有学习如何从假设空间中挑选与f最接近的h作为g。

 

猜你喜欢

转载自www.cnblogs.com/huangshansan/p/10744614.html
04