代码 https://github.com/px528/AdaboostExample
粗略解释:https://blog.csdn.net/px_528/article/details/72963977
大佬的课:https://www.youtube.com/watch?v=UHBmv7qCey4
推导过程:统计学习方法-李航-137页开始
以上完成就能入门adaboost 当然还有各种boost模型
虽然提供了所有的资料,但是还是要把总结经验写一下:
梳理一下算法的整体过程:
第一步,给初始数据分配权值w1i (1代表第一轮次,i代表第几个数据的权值).
第二步,找到第i个弱分类器的最小损失--在正负类别之间切割是有效测试,在同类样本中切割是无效测试.找到判误率最小的e
第三步:计算该分类器在整体分类过程中说话的权重
第四步:更新权值:原则分类错误的样本权值会被增大,分类正确的样本权值会被减少
公式:6.034老师给出了更简单的推导,原始公式就不写了,直接写最简单的更新权值公式
分类正确的和为 1-e 则对分类正确样本新的权值就是 wi*(0.5/(1-e))
分类错误的和为e,则对分类错误的样本的新的权值就是wi*(0.5/e)
最后进行n次循环一直到满足要求的精度或者循环次数结束为止
上面更新权值的简便公式的推导excellent!