デシジョンツリーの概要-DecisionTreeClassifier（2）

料理のコースに合わせて整理されており、覚えやすく理解しやすい

コードの場所は次のとおりです。

DecisionTreeClassifierとwineデータセット

クラスsklearn.tree。DecisionTreeClassifier（criterion='gini'、splitter='best'、max_depth= None、min_samples_split= 2、min_samples_leaf= 1、min_weight_fraction_leaf = 0.0、max_features= None、random_state= None、max_leaf_nodes = None、min_impurity_decrease = 0.0、min_impurity_split= None、class_weight = None、presort = False）

重要なパラメータ

random_state＆splitter

random_state：ブランチでランダムパターンを設定するために使用されるパラメーター。デフォルトはNoneで、高次元データではランダム性がより明確になり、低次元データ（アイリスデータセットなど）ではランダム性はほとんど現れません。。任意の整数を入力すると、同じツリーが常に成長し、モデルが安定します。
スプリッター：決定木のランダムオプションを制御するためにも使用されます。これは、過剰適合を防ぐ方法でもあります。モデルが過剰適合すると予測する場合は、これら2つのパラメーターを使用して、ツリーの構築後に過剰適合の可能性を減らすのに役立ててください。もちろん、ツリーが構築された後も、過剰適合を防ぐために剪定パラメーターを使用します。
- best、分岐時の決定木はランダムですが、分岐のより重要な機能が優先されます（重要度は属性feature_importances_で確認できます）
- random、デシジョンツリーは分岐時にランダムになり、ツリーには不要な情報が多く含まれるため、ツリーはより深く大きくなり、この不要な情報のためにトレーニングセットのフィッティングが減少します。

# splitter 防止过拟合，使模型变简单，分数降低
clf = tree.DecisionTreeClassifier(criterion="gini",random_state=30,splitter="best")
Xtrain,Xtest,Ytrain,Ytest = train_test_split(wine.data,wine.target,test_size=0.3)
clf.fit(Xtrain,Ytrain)
score = clf.score(Xtest,Ytest)
score

clf = tree.DecisionTreeClassifier(criterion="gini",random_state=30,splitter="random")
Xtrain,Xtest,Ytrain,Ytest = train_test_split(wine.data,wine.target,test_size=0.3)
clf.fit(Xtrain,Ytrain)
score = clf.score(Xtest,Ytest)
score
复制代码

剪定パラメータ

制限なしで、決定木は、不純物の測定が最適になるまで、またはそれ以上機能が利用できなくなるまで成長します。このような決定木は過剰適合する傾向があります。つまり、トレーニングセットではうまく機能しますが、テストセットではうまく機能しません。収集するサンプルデータは全体的な状況と完全に一致するわけではないため、決定木がトレーニングデータに対して解釈可能性が高すぎる場合、検出されるルールにはトレーニングサンプルのノイズが含まれている必要があり、未知の適合を困難にする必要があります。データの不足です。

決定木をより一般化するために、決定木を整理する必要があります。剪定戦略は決定木に大きな影響を与え、正しい剪定戦略は最適化決定木アルゴリズムの中核です。sklearnは、さまざまな剪定戦略を提供します。

max_depth

木の最大の深さを制限し、設定された深さを超えるすべての枝を切り取ります

これは最も広く使用されている剪定パラメーターであり、高次元および低サンプルサイズで非常に効果的です。デシジョンツリーがもう1層成長すると、サンプルサイズの需要が倍増するため、ツリーの深さを制限すると、過剰適合を効果的に制限できます。また、アンサンブルアルゴリズムでも非常に役立ちます。実際の使用では、= 3から始めてフィッティングの効果を確認してから、設定した深さを増やすかどうかを決定することをお勧めします。

min_samples_leaf＆min_samples_split

min_samples_leaf : 限定，一个节点在分枝后的每个子节点都必须包含至少min_samples_leaf个训练样本，否则分枝就不会发生，或者，分枝会朝着满足每个子节点都包含min_samples_leaf个样本的方向去发生
- 一般搭配max_depth使用，在回归树中有神奇的效果，可以让模型变得更加平滑。这个参数的数量设置得太小会引起过拟合，设置得太大就会阻止模型学习数据。一般来说，建议从=5开始使用。如果叶节点中含有的样本量变化很大，建议输入浮点数作为样本量的百分比来使用。同时，这个参数可以保证每个叶子的最小尺寸，可以在回归问题中避免低方差，过拟合的叶子节点出现。对于类别不多的分类问题，=1通常就是最佳选择。
min_samples_split : 限定，一个节点必须要包含至少min_samples_split个训练样本，这个节点才允许被分枝，否则分枝就不会发生。

# max_depth 和 min_samples_split 配合使用
# 我们可以清晰的发现，最下面的44个清酒的没有分枝并没有展开
clf = tree.DecisionTreeClassifier(criterion="gini",random_state=30,max_depth=3,min_samples_split=15)
Xtrain,Xtest,Ytrain,Ytest = train_test_split(wine.data,wine.target,test_size=0.3)
clf.fit(Xtrain,Ytrain)
dot_data = tree.export_graphviz(
                                 clf
                                 ,feature_names=wine.feature_names
                                 ,class_names=["琴酒","清酒","茅台"]
                                 ,filled=True
                                 ,rounded= True
)
graph = graphviz.Source(dot_data)
graph
复制代码

max_features & min_impurity_decrease

一般max_depth使用，用作树的”精修“

max_features : 限制分枝时考虑的特征个数，超过限制个数的特征都会被舍弃。和max_depth异曲同工，max_features是用来限制高维度数据的过拟合的剪枝参数，但其方法比较暴力，是直接限制可以使用的特征数量而强行使决策树停下的参数，在不知道决策树中的各个特征的重要性的情况下，强行设定这个参数可能会导致模型学习不足。如果希望通过降维的方式防止过拟合，建议使用PCA，ICA或者特征选择模块中的降维算法。
min_impurity_decrease : 限制信息增益的大小，信息增益小于设定数值的分枝不会发生。这是在0.19版本中更新的功能，在0.19版本之前时使用min_impurity_split。

目标权重参数

class_weight & min_weight_fraction_leaf

class_weight : 完成样本标签平衡的参数。样本不平衡是指在一组数据集中，标签的一类天生占有很大的比例。比如说，在银行要判断“一个办了信用卡的人是否会违约”，就是是vs否（1%：99%）的比例。这种分类状况下，即便模型什么也不做，全把结果预测成“否”，正确率也能有99%。因此我们要使用class_weight参数对样本标签进行一定的均衡，给少量的标签更多的权重，让模型更偏向少数类，向捕获少数类的方向建模。该参数默认None，此模式表示自动给与数据集中的所有标签相同的权重。
min_weight_fraction_leaf : 有了权重之后，样本量就不再是单纯地记录数目，而是受输入的权重影响了，因此这时候剪枝，就需要搭配min_weight_fraction_leaf这个基于权重的剪枝参数来使用.

学习曲线(`重点`)

那具体怎么来确定每个参数填写什么值呢？这时候，我们就要使用确定超参数的曲线来进行判断了，继续使用我们已经训练好的决策树模型clf。超参数的学习曲线，是一条以超参数的取值为横坐标，模型的度量指标为纵坐标的曲线，它是用来衡量不同超参数取值下模型的表现的线。在我们建好的决策树里，我们的模型度量指标就是score。

# 寻求最优的超参数 max_depth
from sklearn import tree
from sklearn.model_selection import train_test_split
from sklearn.datasets import load_wine
import matplotlib.pyplot as plt
wine = load_wine()

Xtrain,Xtest,Ytrain,Ytest = train_test_split(wine.data,wine.target,test_size=0.3)

test = []
for i in range(10):
    clf = tree.DecisionTreeClassifier(criterion="gini",random_state=30,max_depth=i+1,min_samples_leaf=10)
    clf.fit(Xtrain,Ytrain)
    score = clf.score(Xtest,Ytest)
    test.append(score)

plt.plot(range(1,11),test,color="red",label="max_depth")
plt.show()
复制代码

重要属性和接口

属性是在模型训练之后，能够调用查看的模型的各种性质。对决策树来说，最重要的是feature_importances_ ，能够查看各个特征对模型的重要性。

sklearn中许多算法的接口都是相似的，比如说我们之前已经用到的fit和score，几乎对每个算法都可以使用。除了这两个接口之外，决策树最常用的接口还有apply和predict。

apply中输入测试集返回每个测试样本所在的叶子节点的索引
predict输入测试集返回每个测试样本的标签。

在这里不得不提的是，所有接口中要求输入X_train和X_test的部分，输入的特征矩阵必须至少是一个二维矩阵。sklearn不接受任何一维矩阵作为特征矩阵被输入。如果你的数据的确只有一个特征，那必须用reshape(-1,1)来给矩阵增维；如果你的数据只有一个特征和一个样本，使用reshape(1,-1)来给你的数据增维。

# 返回的是预测的所在节点的索引
clf.apply(Xtest)
# array([ 3,  6,  3, 10,  3,  3,  7, 10,  3, 10,  3, 10,  3,  3, 10, 10,  3,10,  3,  3,  6,  3,  3, 10, 10,  6,  3,  6,  3,  3,  6,  9,  9, 10,10,  7,  4,  9,  9,  6, 10,  3,  7, 10,  4,  3,  4,  4, 10,  9,  3,10,  3, 10], dtype=int64)

# 返回的是类别的预测值
clf.predict(Xtest)
# array([1, 2, 1, 0, 1, 1, 2, 0, 1, 0, 1, 0, 1, 1, 0, 0, 1, 0, 1, 1, 2, 1,1, 0, 0, 2, 1, 2, 1, 1, 2, 0, 0, 0, 0, 2, 1, 0, 0, 2, 0, 1, 2, 0,1, 1, 1, 1, 0, 0, 1, 0, 1, 0])
复制代码

总结

八个参数：Criterion，两个随机性相关的参数（random_state，splitter），五个剪枝参数（max_depth,min_samples_split，min_samples_leaf，max_feature，min_impurity_decrease）
一个属性：feature_importances_
四个接口：fit，score，apply，predict