机器学习分类算法(六)-随机森林算法

集成算法

集成学习(ensemble learning)是目前非常流行的机器学习策略,基本上所有问题都可以借用其思想来得到效果上的提升。基本出发点就是把算法和各种策略集中在一起,说白了就是一个搞不定大家一起上!集成学习既可以用于分类问题,也可以用于回归问题,在机器学习领域会经常看到它的身影,本章就来探讨一下几种经典的集成策略,并结合其应用进行通俗解读。

Bagging算法

集成算法有3个核心的思想:baggingboostingstacking,这几种集成策略还是非常好理解的,下面向大家逐一介绍。

并行的集成

Baggingboostrap aggregating,其中boostrap是一种有放回的抽样方法,抽样策略是简单的随机抽样。其原理很直接,把多个基础模型放到一起,最后再求平均值即可,这里可以把决策树当作基础模型,其实基本上所有集成策略都是以树模型为基础的,公式如下:
f ( x

猜你喜欢

转载自blog.csdn.net/weixin_35770067/article/details/107346591