决策树模型
简介
决策树是一种类似流程图的结构，其中每个内部节点代表一个属性的“测试”(例如硬币翻转出现正面朝上或反面朝上)，每个分支代表测试的结果，每个叶节点代表一个类标签(在计算所有属性后做出的决策)。从根到叶的路径代表分类规则。
在决策分析中，决策树和密切相关的影响图被用作可视化和分析性的决策支持工具，使用该工具计算备选方案的期望值(或预期效用)。
决策树由三种类型的节点组成:
- 决策节点——通常由正方形表示
- 机会节点——通常用圆圈表示
- 结束节点–通常由三角形表示
决策树通常用于运筹学和运营管理。在实践中，如果必须在不完全了解的情况下在线不召回地做出决策，决策树应该与概率模型一同作为最佳选择模型或在线选择模型的算法。决策树的另一个用途是作为计算条件概率的手段。
决策树、影响图、效用函数和其他决策分析工具会被作为运筹学或管理学的例子，被教授给商学院、卫生经济学和公共卫生学院的本科生。
决策树元素
决策树从左到右绘制，只有突发节点(分割路径)，没有汇聚节点(汇聚路径)。因此，手动绘制时，它们会变得非常大，通常我们很难用手完全画出来。传统上，决策树是手动创建的——但是现在绘制决策树越来越多地使用专门的软件。
决策规则
决策树可以线性化理解为决策规则 结果是叶节点的内容，路径上的条件在if子句中形成一个连接。一般来说，规则有以下形式:
if条件1、条件2和条件3，then结果。
决策规则可以通过用目标变量构造关联规则来生成。决策规则也可以表示时间或因果关系。
优缺点
在决策支持工具中，决策树(和影响图)有几个优点。
- 易于理解和解释。经过简单的解释，人们能够理解决策树模型。
- 即使只有很少的硬性数据也有价值。重要的见解可以基于专家描述(它的替代方案、概率和成本)和他们对结果的偏好而产生。
- 帮助确定不同场景的最坏和最好的预期值。
- 使用白盒模型。如果模型提供了已知结果。
- 可以与其他决策技术相结合。
决策树的缺点:
- 决策树是不稳定的，这意味着微小的数据变化会导致最优决策树结构的巨大变化。
- 它们通常相对不准确。可能许多其他预测因子在相似的数据下表现更好。虽然这可以通过用决策树的随机森林替换单个决策树来补救，但是随机森林不像单个决策树那样容易解释。
- 对于包含具有不同级别的分类变量的数据，决策树中的信息增益偏向于具有更多级别的属性。[6]
- 当许多值不确定或许多结果相关时，计算可能会变得非常复杂。