提升算法之AdaBoost算法原理及其公式推导

1.AdaBoost算法原理

     AdaBoost是代表性的提升算法。对于分类问题而言,在给定训练样本的条件下,找到一个弱分类器比找到一个强分类器要简单得多,提升算法就是从弱学习算法(弱分类器)出发,反复学习,得到一系列的弱分类器(基本分类器),然后组合这一系列的分类器,构成一个强分类器。大多数的提升方法都是改变训练数据的概率分布(训练数据的权值分布),针对不同的分布调用弱学习算法学习一系列分类器。提升算法需要回答的两个问题:(1)在每一轮训练中如何改变训练数据的权值或者概率分布(2)如何组合这一系列的弱分类器成为一个强分类器。在AdaBoost中,针对问题(1),AdaBoost提高前一轮学习被错误分类的样本的权重,降低前一轮学习被正确分类的样本权重,使被错误分类的样本由于权重的提高在下一次的训练中得到重视。针对问题(2),AdaBoost采用加权多数表决的方法,即加大分类错误率小的分类器的权重,使其在表决中起较大作用,减少分类错误率高的分类器的权重,使其在表决中起到较少的作用。

2.AdaBoost算法推导过程

3.AdaBoost算法说明

参考文献

1.李航《统计学习方法》

猜你喜欢

转载自blog.csdn.net/qq_28935065/article/details/83997520
今日推荐