7.7 阅读材料

7.7 阅读材料

  • 贝叶斯决策论在机器学习模式识别等诸多关注数据分析的领域都有着极为重要的地位,对贝叶斯定理进行近似求解,为机器学习算法的涉及提供了一种有效的途径,为了避免贝叶斯定理求解的时候面临的组合爆炸,样本稀疏问题。朴素贝叶斯分类器引入了属性条件独立性假设,这个假设在现实应用中往往难以成立,但有趣的是,朴素贝叶斯分类器在很多情形下都能得到相当好的性能,一种解释是:只需要各类别的条件概率排序正确,无需精准的概率值就可以导致正确分类的结果。另一种解释是:若属性之间的依赖对所有类别影响相同的时候,或者依赖关系的影响能够相互的抵消,则属性条件独立性假设在降低计算开销的同时不会对性能产生负面影响朴素贝叶斯分类器信息检索尤为常用,McCallum and igam在对文本分类中的两种常见方法进行了比较
  • 根据对属性间依赖的涉及程度,贝叶斯分类器形成了一个“谱”:朴素贝叶斯分类器不考虑属性间依赖性,贝叶斯网能够表示任意属性间的依赖性,二者分别位于谱的两端;介于两者之间的则是一系列半朴素贝叶斯分类器,它们基于各种假设和约束来对属性间的部分依赖性进行建模,一般认为,半朴素贝叶斯分类器的研究始于Kononenko,1991.ODE仅仅考虑一个父属性,由此形成了独依赖分类器,如TAN,AODE,LBR等;kDE则考虑最多依赖K个父属性,由此形成了K依赖分类器如KDB,NBtree
  • 贝叶斯分类器与一般意义上的贝叶斯学习有着明显的区别,前者是通过最大后验概率进行单点估计,后者则是进行分布估计
  • 贝叶斯网为不确定学习和推断提供了基本的框架,因其强大的表示能力,良好的可解释性而广受关注。贝叶斯网学习则分为结构学习和参数学习两个部分。参数学习通常较为简单,而结构学习则被证明是NP难问题,人们为此提出了很多评分搜索方法,贝叶斯网通常被看作是生成式模型,但近年来,也有很多关于贝叶斯网络判别式学习的研究。贝叶斯网是经典的概率图模型J.Pearl因为这方面的卓越贡献在2011年获得图灵奖
  • EM算法是最常见的隐变量估计方法,在机器学习中有着广发的用途,例如常常被用来学习高斯混合模型(GMM)的参数,9.4节将会学到的K均值聚类算法就是一个典型的EM算法、
  • 本章介绍的朴素贝叶斯算法和EM算法均曾入选“数据挖掘十大算法”,还包括C4.5,CART决策树,支持向量机,以及AdaBoost,K均值聚类,K近邻算法

猜你喜欢

转载自blog.csdn.net/weixin_44412864/article/details/113722164
7.7