李航《统计学习方法》CART算法学习笔记,难点分析解读

1.CART生成

(1)回归树的生成

使用平方误差最小化准则

(2)分类树的生成

使用基尼指数最小化准则

2. CART 剪枝

所以[αi,α(i+1))范围内,都应该对Tt进行剪枝

CART剪枝理解(转自:https://blog.csdn.net/wqtltm/article/details/82597334):

1.这里的剪枝和前面讲的决策树剪枝不同的地方就是,之前就在一个固定的超参数alpha上剪枝,这里不是 ,他不但剪枝,还挑选最优的超参数。

2.虽然alpha 是无限多的 ,但是树的可能性是固定的,因此更具上面breiman的证明我门知道,在一个固定的区间[a,b)内,无论alpha取什么,最优的树都是那一棵,所以他就从下到上依次计算剪掉每个点之后对应的alpha(为什么从下到上,,当然是因为动态规划啦)。

3.为什么从最小的alpha开始,因为我门知道alpha越大,树就越简单,意味着剪掉的越多,而alpha越小,树越复杂剪掉的越少,所以从小的alpha开始意味着是一种从下到上的剪枝啦,这样又可以动态规划啦。

4.所以最后把所有可能剪掉 的枝的树都集合起来,然后用验证集交叉验证选出最优的就OK了

发布了10 篇原创文章 · 获赞 2 · 访问量 7726

猜你喜欢

转载自blog.csdn.net/ftfy123/article/details/104581257