Permutation Importance及其实现原理及python代码

Permutation Importance及其实现原理及python代码

Permutation Importance是一种基于模型预测结果的特征重要性评估方法。这个方法的基本思想是通过随机打乱单个特征，来破坏特征和标签之间的关系，观察模型准确率对特征变化的影响程度，从而得到特征的重要性排名。这种方法主要应用于数据量较小、特征较少的场景，在处理低维数据集或者需要快速分析特征重要性时，它表现出了极高的效率。

Permutation Importance在python中的实现也非常容易，sklearn库提供了相关的API。

将样本集X（含p个特征）输入训练好的分类器clf中，计算出样本集X下的预测结果score1。

然后，随机置换一个特征F的所有样本数值，即将样本集X中的该特征F打乱顺序，得到新的样本集X′，再将新的样本集X′输入分类器clf中，计算得到新的预测结果score2。

重复执行上述操作多次，得到每个特征的score2的平均值avg_score2，用score1减去avg_score2，就得到了每个特征的Permutation Importance。

代码实现如下：

from sklearn.inspection import permutation_importance
#model: 已训练好的分类器
#X: 数据集