05 Training versus Testing

回顾上节内容:假设空间H有限,N足够大,不管A选择哪个h,Ein和Eout在一定范围内都是近似相等的,A根据D在H中挑选使得Ein足够小的g,就能说Ein=Eout(PAC),即学习是可能的。

将学习分为两步:

train:A根据给定训练集D在H中选出g,使得Ein(g)≈0;
test:g在整个输入空间X上的表现要约等于在训练集D上的表现,使得Eout(g)≈Ein(g)。 

思考:①我们是否能保证Eout(g)≈Ein(g);②是否能保证Ein(g)≈0?

①当M小时,根据霍夫丁不等式,坏事情发生的可能性很小,所以满足Eout(g)≈Ein(g),但是M小,可供选择的h少,不一定能保证Ein(g)≈0。

②当M大时,根据霍夫丁不等式,坏事情发生的可能性不一定很小,所以不一定满足Eout(g)≈Ein(g),但是M大,可供选择的h多,能保证Ein(g)≈0。

综上,应该选择适当大的M,不能过大或者过小。

前面已经解决了M有限的情况,下面解决无限大的M:

想办法找到有限值mH取代M:m表示可能比原来的M小,H代表与假设空间的一些性质有关系。

当h1≈h2时

猜你喜欢

转载自www.cnblogs.com/huangshansan/p/10759356.html