3个统计机器学习的经典方法一致实现了经验风险最小化原则

本文参考Vapnik统计学习理论归纳了机器学习三类学习问题的同一原则。

分类问题

在只取限个值的函数集上，用经验数据（训练数据）

           

来最小化风险泛函

           

就变成了模式识别的问题。

考察经验风险泛函

           

在

时，最小化经验风险泛函产生一个函数，该函数在训练器上具有

最小错分数。

扫描二维码关注公众号，回复： 5734670 查看本文章

回归问题

在函数集       上，基于经验数据

             

最小化泛函

             

的问题。对应于这一泛函，经验风险泛函为:

          

根据经验风险最小化原则，为了估计回归函数， 我们必须最小化该泛函。在统计学中，\\

最小化该泛函称为最小二乘法。

密度估计问题

在密度集   上，利用独立同分布数据

           

最小化泛函

           

的问题。对应于这一泛函，经验风险泛函为

           

根据经验风险最小化原则，该泛函的最小值提供对密度的逼近。它等同于最大似然方法的解，我们知道

在最大似然方法中，求和号前面用的是正号（最大化），而不是负号（转换成最小化）。