机器学习----统计学习方法-2

五、决策树

这里写图片描述

5.1、信息增益

这里写图片描述

5.2、信息增益比

这里写图片描述

5.3、决策树的生成

5.3.1、ID3算法(信息增益算法)

这里写图片描述

5.3.2、C4.5算法(信息增益率)

这里写图片描述

5.3.3、CART算法(GINI算法)

这里写图片描述
这里写图片描述

5.4、剪枝

5.4.1、决策树的剪枝

这里写图片描述

5.4.2、CART剪枝

这里写图片描述

六、逻辑斯蒂回归与最大熵

6.1、逻辑斯蒂回归模型

解释
这里写图片描述

扫描二维码关注公众号,回复: 2396367 查看本文章

计算
这里写图片描述

6.2、最大熵模型

这里写图片描述

6.3、改进

6.3.1、迭代尺度法(IIS)

这里写图片描述

6.3.2、拟牛顿法(BFGS)

原理类似牛顿法
计算过程如下:
这里写图片描述

七、支持向量机

解释
这里写图片描述

这里有详细的讲解点击这里
在这里,复习一下推导式

7.1、线性支持向量机

这里写图片描述

这里写图片描述

这里写图片描述

线性支持向量机
这里写图片描述

7.2、非线性支持向量机

这里写图片描述

7.3、核函数

这里写图片描述

常用核函数
这里写图片描述

猜你喜欢

转载自blog.csdn.net/sakura55/article/details/81047024
今日推荐