8.2 AdaBoost算法的训练误差分析
AdaBoost最基本的性质，通过学习过程不断减少训练误差，即在训练数据集上的分类误差率。
8.2.1训练误差界
其中：
8.2.2二分类问题的训练误差界
通过分离误差界表明：AdaBoost的每次迭代可以减少它在训练数据集上的分类误差率，表明了作为提升方法的有效性。
8.3 AdaBoost算法的解释
解释：加法模型；损失函数为指数函数；学习算法为前向分步算法；二分类学习算法。
8.3.1 前向分步算法
在加法模型的条件下：
给定训练数据及损失函数下，最优化问题转换为经验风险最小化问题：
求解方法：向前分步算法，将加法模型分解进行优化，每一步只学习一个基函数及其系数，逐渐逼近优化目标函数，每一步的优化策略：
8.3.2 向前分步算法与Adaboost
AdaBoost：基本分类器组成加法模型；损失函数为指数函数
一句话概括：前向分步算法就是分治的思想，把同时优化m=1…M的问题看做分别优化m=1…m=M的问题。AdaBoost算法是前向分步算法的特列。