（1）为什么要集成学习器？
从统计方面，降低因单一学习器误选导致的泛化性能不佳的风险；
从计算方面，减低陷入糟糕局部极小点的风险；
从表示方面，扩大假设空间，可能学得更好的近似。
（2）几种常见的结合策略
1、平均法——数值型输出常用结合策略
- 简单平均法
- 加权平均法，要求权重非负且和为1
一般，个体学习器性能相差较大时使用加权平均，性能相近时使用简单平均法（例：可以用测试集准确率判断性能）。
2、投票法——分类
- 绝对多数投票法—若某标记得票过半，则预测为该标记；否则拒绝预测。（在可靠性要求较高的学习任务中很有效）
- 相对多数投票法—预测为得票最多的标记，若同时有多个标记获得最高票，则从中随机选取一个。
- 加权投票法—要求权重非负且和为1
不同类型个体学习器可能产生不同类型的输出值：
- 使用类标记的投票称“硬投票”；使用类概率的投票称“软投票”，相当于对后验概率
的一个估计。
注：基学习器类型不同，其类概率值不能直接进行比较，通常将类概率输出转化为类标记输出（例：将类概率输出最大设为1，其他设为0）然后再投票。
3、学习法——通过另一个学习器进行结合
Stacking是典型代表，个体学习器称为初级学习器，用于结合的学习器称为次级学习器或元学习器。
（1）基本思想：先从初始数据集训练出初级学习器，然后将初始学习器的输出作为特征（一般采用留一法或交叉验证法，使用训练初级学习器未使用到的样本来产生次级学习器的样本）与相对应的初始训练集的标记组合为新的数据集用于训练次级学习器。（初始：Xi，输出：Zi，标记: Yi，初级训练器（Xi，Yi），次级训练器（Zi，Yi））