集成学习
学习目标
- 了解集成学习中主要解决的两个核心任务
- 知道bagging集成原理
- 知道随机森林决策树的建立过程
- 知道为什么需要随机有放回(Bootstrap)的抽样
- 应用RandomForestClassifie实现随机森林算法
- 知道boosting集成原理
- 知道bagging和boosting的区别
- 了解gbdt实现过程
5.1 集成学习算法简介
1 什么是集成学习
![[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-FUywK5ZD-1583250286371)(../images/ensemble1.png)]](https://img-blog.csdnimg.cn/20200303234502801.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1NDU2MDQ1,size_16,color_FFFFFF,t_70)
集成学习通过建立几个模型来解决单一预测问题。它的工作原理是生成多个分类器/模型，各自独立地学习和作出预测。这些预测最后结合成组合预测，因此优于任何一个单分类的做出预测。
2 复习：机器学习的两个核心任务
![[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-dnD9oIGI-1583250286372)(../images/ensemble2.png)]](https://img-blog.csdnimg.cn/20200303234457438.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1NDU2MDQ1,size_16,color_FFFFFF,t_70)
3 集成学习中boosting和Bagging
![[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-1NgqFpid-1583250286372)(../images/ensemble3.png)]](https://img-blog.csdnimg.cn/20200303234452540.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1NDU2MDQ1,size_16,color_FFFFFF,t_70)
只要单分类器的表现不太差，集成学习的结果总是要好于单分类器的.
