树模型与线性模型的区别 决策树分类和逻辑回归分类的区别 【总结】

树模型与线性模型的区别在于:

(一)树模型


  ①树模型产生可视化的分类规则,可以通过图表表达简单直观,逐个特征进行处理,更加接近人的决策方式
  ②产生的模型可以抽取规则易于理解,即解释性比线性模型强。
  ③树模型拟合出来的函数其实是分区间的阶梯函数。
  ④在训练过程中,树模型需要计算特征属性的信息增益或信息增益率等度量,从而确定哪个属性对目标最有益,即有最强区分样本的能力。
  ⑤一般特征空间复杂,无法用线性表达时使用树模型来解决问题。

(二)线性模型


  ①线性模型是对所有特征赋予权重后相加得到一个新的值。
  ②通常能够获得更高的预测精度,预测方差比树模型低。
  ③线性模型拟合出来的函数则可以是任意曲线。
  ④在训练过程中,线性模型使用简单公式通过一组数据点找到最佳拟合。
  ⑤一般当特征和标签可以通过线性方式得到较好拟合则使用线性模型解决问题。

在此基础上,决策树分类与逻辑回归分类的区别为:

  ①逻辑回归是将所有特征变换为概率后,通过大于某一概率阈值的划分为一类,小于某一概率阈值的为另一类;决策树是对每一个特征做一个划分。
  ②逻辑回归着眼于整个数据集的拟合,对数据整体的全局结构的分析优于决策树,但缺乏探查局部结构的机制;而决策树采用分隔的方法,能够深入数据内部,对局部结构的分析优于逻辑回归,但一旦分层形成将切断不同层面节点间可能存在的关系。
  ③逻辑回归通常情况下不需要考虑数据量的问题;而决策树由于切分,节点数目增多样本数量降低,分层数目收到数据量的限制。
  ④逻辑回归可用于高维稀疏数据场景,比如ctr预估;决策树变量连续最好,类别变量则稀疏性不能太高。
  ⑤逻辑回归更适合线性关系,能够找到适合线性分割(输入特征x与logit之间是线性的,除非对x进行多维映射);而决策树可以找到非线性分割,对线性关系效果较差。
  ⑥逻辑回归对极值比较敏感,容易受极端值的影响;而决策树在这方面表现较好。
  ⑦逻辑回归原则上可以提供数据中每个观察点的概率;而决策树只能把挖掘对象分为有限的概率组群,结果更为粗略。
  ⑧逻辑回归模型较为简单,不容易产生过拟合。决策树容易产生过拟合,通常通过剪枝避免产生过拟合。
  ⑨逻辑回归既可以用于回归问题,也可以用于分类;而决策树通常用于分类问题。
  ⑩如果数据中只有单一的一条决策边界,并且不需要与坐标平行,那么逻辑回归的效果会更好。同时如果数据中包含多个决策边界,那么决策树的效果会更好。如果有多条决策边界,并且不平行与坐标,通常使用支持向量机。

笔者才疏学浅,文中如有失误之处还望指正,欢迎同道中人补充交流!!!

猜你喜欢

转载自blog.csdn.net/Ximerr/article/details/108161596
今日推荐