《解释性机器学习》笔记（五）：Rule Fit 规则拟合

原文：《Interpretable machine learning》 Christophm

规则拟合

就是以决策规则的形式，检测特征间的交互。（决策规则见笔记四）

两部分：

1. 从决策树间创建规则。
2. 将原特征和新规则作为输入，匹配线性模型。

通过将分割的决策组合成规则，可以将树中的每条路径转换为决策规则：
解释和实例

RuleFit最终估算的是一个线性模型，所以与常规线性模型的解释是相同的。唯一的区别是该模型具有来自决策规则的新特征。

自行车租赁实例：

最重要的规则是:“days_since_2011 > 111 & weathersit in(“GOOD”，“MISTY”)”，对应的权重是793。其解释是:如果days_since_2011 > 111和weathersit in(“GOOD”、“MISTY”)，那么当所有其他特性值保持不变时，预测的自行车数量将增加793辆。

特征重要性的度量包括原始特征项的重要性和特征出现在的所有决策规则。

1.理论

step 1：规则泛化
一个树的集合可以用这个通用的公式来描述:

M：树的数量 fm(x) ：预测函数

创建规则：

Tm ： m树中用到的特征集 I：指示函数

实例化：自行车租赁数据集的一个虚构的例子:

step 2：稀疏线性模型（减少特征）
和线性模型一致，引入lasso，增加规则特征。

扫描二维码关注公众号，回复： 14922445 查看本文章

step 3：特征重要性：
介绍了几种衡量特征重要性的方法。

2.优缺点

优点：

1. RuleFit自动将特征交互添加到线性模型中。
2. RuleFit可以处理分类和回归任务。
3. 易于解释。

缺点：

1. 有时RuleFit会创建许多规则，随着模型中特征数量的增加，可解释性逐渐降低。
2. 线性模型，权重的解释仍然是不直观的。