Noise and Error
Noise and Probabilistic Target
这节课引入noise的概念,那么VC Dimension的推导还成立吗?
首先,数据集的Noise一般有三种情况:
- 由于人为因素,正类被误分为负类,或者负类被误分为正类;
- 同样特征的样本被模型分为不同的类;
- 样本的特征被错误记录和使用。
之前的数据集是确定的,即没有Noise的,我们称之为Deterministic。现在有Noise了,也就是说在某点处不再是确定分布,而是概率分布了,即对每个(x,y)出现的概率是P(y|x)。
因为Noise的存在,比如在x点,有0.7的概率y=1,有0.3的概率y=0,即y是按照P(y|x)分布的。数学上可以证明如果数据集按照P(y|x)概率分布且是iid(独立同分布)的,那么以前证明机器可以学习的方法依然奏效,VC Dimension有限即可推断
和
是近似的。
从上图可知,P(y|x)称之为目标分布(Target Distribution),而且确定数据集可以看作是目标分布的特殊案例。即P(y|x)=1,for y=f(x),P(y|x)=0,for y≠f(x)
Error Measure
PointWise error实际上就是对数据集的每个点计算错误并计算平均,
和
的pointwise error的表达式为:
pointwise error是机器学习中最常用也是最简单的一种错误衡量方式,未来课程中,我们主要考虑这种方式。pointwise error一般可以分成两类:0/1 error和squared error。0/1 error通常用在分类(classification)问题上,而squared error通常用在回归(regression)问题上。
Ideal Mini-Target由P(y|x)和err共同决定,0/1 error和squared error的Ideal Mini-Target计算方法不一样。例如上面这个例子,分别用0/1 error和squared error来估计最理想的mini-target是多少。0/1 error中的mini-target是取P(y|x)最大的那个类,而squared error中的mini-target是取所有类的加权平方和。
Algorithmic Error Measure
Error有两种:false accept和false reject。false accept意思是误把负类当成正类,false reject是误把正类当成负类。 根据不同的机器学习问题,false accept和false reject应该有不同的权重,这根实际情况是符合的,比如是超市优惠,那么false reject应该设的大一些;如果是安保系统,那么false accept应该设的大一些。
常见计算error的方法如下:
Weighted Classification
对于安保系统,false accept权重应该较大,那么针对这个情况,生成了加权的
:
我们可以通过virtual copying,来使
和
扯上关系,相当于使权重不变,但是对于犯错误的数据进行虚拟复制1000次,那么计算
还是可以通过
。
但是事实上我们不会真正复制对应的数据集1000次,而是使计算对应的数据集的概率变为原来的1000倍。
###总结
本节课主要讲了在有Noise的情况下,即数据集按照P(y|x)概率分布,那么VC Dimension仍然成立,机器学习算法推导仍然有效。机器学习cost function常用的Error有0/1 error和squared error两类。实际问题中,对false accept和false reject应该选择不同的权重。对于有权重的算法,可以利用virtual copying来使原始的算法一样有效。