公众号幸运飞艇平台搭建与Adaboost算法原理

本人最初了解AdaBoost算法着实是花了几天时间,公众号幸运飞艇平台搭建[企俄:2152876294] 网址[diguaym.com](http://diguaym.com/forum.php)

才明白他的基本原理。也许是自己能力有限吧,很多资料也是看得懵懵懂懂。网上找了一下关于Adaboost算法原理分析,大都是你复制我,我摘抄你,反正我也搞不清谁是原创。有些资料给出的Adaboost实例,要么是没有代码,要么省略很多步骤,让初学者很难看懂AdaBoost过程。
本博客将会详细介绍AdaBoost算法过程,并给出了一个Adaboost例子的详细求解过程,当然也给出了Matlab代码求解过程。碍于太多复杂公式,文章是在电脑Word文档写好再复制上博客的,为了排版好看,有些地方给出了截图。
有一个Adaboost 算法的例子,但其过程简略太多,初学者很难看懂。本文章的Adaboost 算法例子也是与之相对应的,但本人给出了详细的步骤和分析过程。话说,图都是我一个一个画上去,心疼我用了两天时间!!

(1)鉴于很多网友评论留言说,为啥子第三次迭代时,“这个强分类器Hfinal对训练样本的错误率为0!”。这里要说明一下,如果你只是用眼去看,而不假思索一下,你是绝逼看不出结果来的!!!要计算,公式就是:{\color{Red} H{final}=sign(f{3}(x))}这个函数,其中是sign符号函数(大于0,返回1;小于0,则返回-1),把样本点X代入公式计算就可以得到预测结果了

(2)为了照顾大家,我又重新绘制了表格,把每一步sign(f{i}(x))的预测结果显示出来,详见每一次迭代的表格的sign(f{i}(x))值

(3)附带了Matlab源代码,自己运行一下,就OK了

(4)这份博客,花了我好大心血,记得点赞哈哈!

(5)娃哈哈~!

一、AdaBoost简介

  Boosting, 也称为增强学习或提升法,是一种重要的集成学习技术, 能够将预测精度仅比随机猜度略高的弱学习器增强为预测精度高的强学习器,这在直接构造强学习器非常困难的情况下,为学习算法的设计提供了一种有效的新思路和新方法。其中最为成功应用的是,Yoav Freund和Robert Schapire在1995年提出的AdaBoost算法。
  AdaBoost是英文"Adaptive Boosting"(自适应增强)的缩写,它的自适应在于:前一个基本分类器被错误分类的样本的权值会增大,而正确分类的样本的权值会减小,并再次用来训练下一个基本分类器。同时,在每一轮迭代中,加入一个新的弱分类器,直到达到某个预定的足够小的错误率或达到预先指定的最大迭代次数才确定最终的强分类器。

Adaboost算法可以简述为三个步骤:
(1)首先,是初始化训练数据的权值分布D1。假设有N个训练样本数据,则每一个训练样本最开始时,都被赋予相同的权值:w1=1/N。
(2)然后,训练弱分类器hi。具体训练过程中是:如果某个训练样本点,被弱分类器hi准确地分类,那么在构造下一个训练集中,它对应的权值要减小;相反,如果某个训练样本点被错误分类,那么它的权值就应该增大。权值更新过的样本集被用于训练下一个分类器,整个训练过程如此迭代地进行下去。
(3)最后,将各个训练得到的弱分类器组合成一个强分类器。各个弱分类器的训练过程结束后,加大分类误差率小的弱分类器的权重,使其在最终的分类函数中起着较大的决定作用,而降低分类误差率大的弱分类器的权重,使其在最终的分类函数中起着较小的决定作用。
换而言之,误差率低的弱分类器在最终分类器中占的权重较大,否则较小。

猜你喜欢

转载自blog.51cto.com/13922846/2159764