随机森林进行特征选择

1 特征重要性​度量

计算某个特征X的重要性时,具体步骤如下:

1)对每一颗决策树,选择相应的袋外数据​计算袋外数据误差,记为errOOB1.

所谓袋外数据是指,每次建立决策树时,通过重复抽样得到一个数据用于训练​决策树,这时还有大约1/3的数据没有被利用,没有参与决策树的建立。这部分数据可以用于对决策树的性能进行评估,计算模型的预测错误率,称为袋外数据误差。

​2)随机对袋外数据OOB所有样本的特征X加入噪声干扰,再次计算袋外数据误差,记为errOOB2。

3)​假设森林中有N棵树,则特征X的重要性=∑(errOOB2-errOOB1)/N。如果加入随机噪声后,袋外数据准确率大幅度下降(即errOOB2上升),说明这个特征对于样本的预测结果有很大影响,进而说明重要程度比较高。

​2 特征选择

在特征重要性的基础上,特征选择的步骤如下:

1)计算每个特征的重要性,并按降序排序

2)确定要剔除的比例,依据特征重要性剔除相应比例的特征,得到一个新的特征集

3)用新的特征集重复上述过程,直到剩下m个特征(m为提前设定的值)。

4)根据上述过程中得到的各个特征集和特征集对应的袋外误差率,选择袋外误差率最低的特征集。​

猜你喜欢

转载自blog.csdn.net/zrh_CSDN/article/details/81395735