最近写的系统需要用到随机决策森林，使用了一份网上的随机决策森林的包，这份代码实现的非常棒，速度非常快。但是遇到一个问题，训练好了一个随机决策森林后，我想知道在训练好的模型中，哪些feature是更具有代表性的，所以我统计了每棵树使用feature的频率，但是发现feature的使用频率都差不多。从频率上无法判断那些特征对模型的影响更大。在代码的实现注释中，我发现了这样两种指标：mean decrease accuracy和mean decrease gini。一直不明白是什么。
mean decrease accuracy
把一个变量的取值变为随机数，随机森林预测准确性的降低程度。该值越大表示该变量的重要性越大。
【摘于李欣海博客】
- 想象一下，你使用几个特征建立模型，特征中包括性别，目的是来预测一个人喜欢白咖啡还是黑咖啡。
- 取一个特征并以与特征分布相匹配的方式对其进行扰频（例如，如果选择的特征是性别，并且观察值的60％是男性，则将样本中的60%的样本都随机分配成男性）。
- 用修改后的样本测量结果树的预测准确性。
- 对每个变量都做上面三步操作。
- 平均准确度下降(mean decrease accuracy)是修改前和修改后的下降情况。
- 请注意，这不是因果关系，在实际使用中，会将重点放在变量的排名上作为进一步调查的数据点，而不是衡量的实际数量。
【摘于Quora】
mean decrease gini
计算每个变量对分类树每个节点上观测值的异质性的影响，从而比较变量的重要性。该值越大表示该变量的重要性越大。【摘于李欣海博客】