Classification : a une catégorie claire
Par exemple, si vous allez à la banque pour emprunter de l'argent, il y aura deux types d'emprunt ou pas
Régression : sans catégories ni valeurs explicites
Tels que : aller à la banque pour emprunter de l'argent, prédire combien la banque me prêtera, tels que : une valeur entre 1 et 100000
Impureté:
Afin de convertir le tableau en arbre, l'arbre de décision doit trouver le meilleur nœud et la meilleure méthode de branchement.Pour l'arbre de classification, l'indicateur pour mesurer ce "meilleur" est appelé "impureté". En général, plus l'impureté est faible, meilleur est l'ajustement de l'arbre de décision à l'ensemble d'apprentissage.
L'impureté est calculée en fonction des nœuds, chaque nœud de l'arbre aura une impureté, et l'impureté des nœuds enfants doit être inférieure à celle du nœud parent, c'est-à-dire, sur le même arbre de décision, l'impureté du nœuds feuilles Doit être le plus bas.
La notion d'inexistence
Chaque nœud feuille de l'arbre de décision contient un ensemble de données, dans cet ensemble de données, si un certain type d'étiquette occupe une grande proportion, on dit que le nœud feuille est "pur" et les branches sont bien divisées. Plus la proportion d'un certain type d'étiquette est grande, plus la feuille est pure et plus l'impureté est faible, meilleure est la branche.
S'il n'y a pas de grande proportion de n'importe quel type d'étiquette et que tous les types d'étiquettes sont relativement moyens, on dit que le nœud feuille est "impur", la ramification n'est pas bonne et l'impureté est élevée.
sur-ajustement |
Le modèle fonctionne bien sur l'ensemble d'entraînement, fonctionne mal sur l'ensemble de test, apprend bien mais apprend trop finement |
sous-équipement |
Le modèle fonctionne mal à la fois sur l'ensemble d'apprentissage et sur l'ensemble de test, et la capacité d'apprentissage est insuffisante |
Exemples d'apprentissage automatique :
y=kx+b
Passez d'abord le connu : x et y, trouvez : k et b
Passez ensuite l'ensemble de test de y=kx+b (k est connu, b est connu) et x
Trouver y prédiction = k connu * x test + b connu
La valeur prédite de y est comparée à la valeur test de y, et la prédiction de y doit être aussi proche que possible du test de y
from sklearn import tree #从sklearn 包里面导入tree类
clf = tree.DecisionTreeClassifier() #实例化一个决策树分类器
clf =clf.fit(X_train,y_train) #用训练集数据训练模型
result=clf.score(X_test,y_test)#导入测试集，从接口中调用需要的信息
construire un arbre
#导入需要的算法库和模块
from sklearn import tree
from sklearn.datasets import load_wine
from sklearn.model_selection import train_test_split
#搜索数据
Ensemble de données sur le vin rouge
#红酒数据集
#导入需要的算法库和模块
from sklearn import tree
from sklearn.datasets import load_wine
from sklearn.model_selection import train_test_split
wine = load_wine() #加载并返回葡萄酒数据集（分类）。
wine.data.shape #看一下这个表格是怎么样的
#输出(178, 13)，代表存在178行，13列
wine.target #查看表格中有几个标签
# array([0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0,
# 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0,
# 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 1, 1, 1, 1, 1, 1,
# 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1,
# 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1,
# 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 2, 2,
# 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2,
# 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2,
# 2, 2])
#即数据集中的标签有三种，0，1和2，也就是这些红酒被分成了三类。
#如果wine是一张表，应该长这样
# import pandas as pd
# pd.concat([pd.DataFrame(wine.data),pd.DataFrame(
# .wine.target)],axis=1)
#这里是将红酒属性数据集和标签列进行了横向链接（也叫合并，学过数据库的都知道）
# wine.feature_names
#查看红酒的属性名字
# wine.target_names
#查看标签名字，也就是分类的名字
Xtrain,Xtest,Ytrain,Ytest=train_test_split(wine.data,wine.target,test_size=0.3)
#将数据集分为训练集和测试集，其中70%为训练集，30%为测试集。
Xtrain.shape
#训练集有124个样本，13个属性
Xtest.shape
#训练集有54个样本，13个属性
Ytrain
#查看训练集的目标属性；有三种，为0，1，2
#建立模型
clf = tree.DecisionTreeClassifier(criterion="entropy") #建立决策分类树，判断不纯度的方法是信息熵
clf = clf.fit(Xtrain,Ytrain) #用训练集数据训练模型
score = clf.score(Xtest,Ytest) #返回预测的准确accuracy（分数）
score#查看预测的模型分数
#画出这棵树
feature_name = ['酒精','苹果酸','灰','灰的碱性','镁','总酚','类黄酮','非黄烷类酚类','花青素','颜 色强度','色调','od280/od315稀释葡萄酒','脯氨酸']
import graphviz
dot_data = tree.export_graphviz(clf,out_file = None,feature_names= feature_name,class_names=["琴酒","雪莉","贝尔摩德"],filled=True,rounded=True)
#以 DOT 格式导出决策树。
# decision_tree：决策树分类器；要导出到 GraphViz 的决策树。
# out_file：对象或字符串，默认=无；输出文件的句柄或名称。如果 None ，则结果以字符串形式返回。
# feature_names：str列表，默认=无；每个函数的名称。如果 None 将使用通用名称(“feature_0”、“feature_1”、...)。
# class_names：str 或 bool 的列表，默认 = 无
# 每个目标类别的名称按数字升序排列。仅与分类相关，不支持multi-output。如果 True ，则显示类名的符号表示。
# filled：布尔，默认=假
# 当设置为 True 时，绘制节点以指示分类的多数类、回归值的极值或 multi-output 的节点纯度。
#rounded：布尔，默认=假；当设置为 True 时，绘制圆角节点框。
graph = graphviz.Source(dot_data) #获取生成的决策树
graph #打印生成的决策树
#特征重要性
clf.feature_importances_
#打印每个属性的重要性的数值，只有数值，不知道数值对应的属性是什么
[*zip(feature_name,clf.feature_importances_)]
#打印每个属性及其对应的重要性的数值
# 建更多的不同的树，然后从中取最好的。
# 在每次分枝时，不从使用全部特征，而是随 机选取一部分特征，从中选取不纯度相关指标最优的作为分枝用的节点。
clf = tree.DecisionTreeClassifier(criterion="entropy",random_state=30)
# random_state 用来设置分枝中的随机模式的参数，默认 None
#random_state是一个随机种子，是在任意带有随机性的类或函数里作为参数来控制随机模式。
#当random_state取某一个值时，也就确定了一种规则。
# 在高维度时随机性会表现更明显，低维度的数据 （比如鸢尾花数据集），随机性几乎不会显现。
#固定random_state后，每次构建的模型是相同的、生成的数据集是相同的、每次的拆分结果也是相同的。
clf = clf.fit(Xtrain, Ytrain)
score = clf.score(Xtest, Ytest) #返回预测的准确度
score
#这里的score会固定在0.925，不论你运行多少遍，它都不会变，因为每次都是选择的最优的树。
#使用splitter来降低过拟合的可能性
clf = tree.DecisionTreeClassifier(criterion="entropy",random_state=30 ,splitter="random")
clf = clf.fit(Xtrain, Ytrain)
score = clf.score(Xtest, Ytest)
score #输出结果为0.944444
# splitter 也是用来控制决策树中的随机选项的，有两种输入值
# 输入 "best" ：决策树在分枝时虽然随机，但是还是会 优先选择更重要的特征进行分枝（重要性可以通过属性feature_importances_ 查看）
# 输入 "random" ：决策树在 分枝时会更加随机，树会因为含有更多的不必要信息而更深更大，并因这些不必要信息而降低对训练集的拟合。
# 这也是防止过拟合的一种方式。当你预测到你的模型会过拟合，用这两个参数来帮助你降低树建成之后过拟合的可能性。
#画出图像
import graphviz
dot_data = tree.export_graphviz(clf,feature_names= feature_name,class_names=["琴酒","雪莉","贝尔摩德"],filled=True,rounded=True )
graph = graphviz.Source(dot_data)
graph
#我们的树对训练集的拟合程度如何？
score_train = clf.score(Xtrain, Ytrain) #返回预测的准确分数
score_train #查看预测的准确分数，此时结果为1.0 过拟合了
#剪枝方法降低过拟合的可能性：
#（1）max_depth 限制树的最大深度
#（2）min_samples_split 限定，一个节点必须要包含至少 min_samples_split 个训练样本，这个节点才允许被分枝，否则分枝就不会发生。
#（3）min_samples_leaf 限定，一个节点在分枝后的每个子节点都必须包含至少 min_samples_leaf 个训练样本，否则分枝就不会发生
# 或者，分枝会朝着满足每个子节点都包含min_samples_leaf 个样本的方向去发生
#通过限制条件进行剪枝，得到的决策树会更简洁，预测的准确分数也不错
clf=tree.DecisionTreeClassifier(criterion="entropy",random_state=30,splitter="random",max_depth=3,min_samples_leaf=5,min_samples_split=5)
clf = clf.fit(Xtrain, Ytrain)
dot_data = tree.export_graphviz(clf,feature_names= feature_name,class_names=["琴酒","雪莉","贝尔摩德"],filled=True,rounded=True)
graph = graphviz.Source(dot_data)
graph
score = clf.score(Xtest, Ytest)
score #0.9629629629629629
# 超参数的学习曲线，是一条以超参数的取值为横坐标，模型的度量指标为纵坐标的曲线，它是用来衡量不同超参数取值下模型的表现的线。
# 在我们建好的决策树里，我们的模型度量指标就是score 。
import matplotlib.pyplot as plt #导入画图库
test = [] #创建一个列表
for i in range(10): #循环10次
clf = tree.DecisionTreeClassifier(max_depth=i+1,criterion="entropy",random_state=30,splitter="random")
clf = clf.fit(Xtrain, Ytrain) #训练模型
score = clf.score(Xtest, Ytest) #预测的准确分数
test.append(score) #往列表里面添加预测的分数值
plt.plot(range(1,11),test,color="red",label="max_depth") #画图
#横坐标为max_depth取值，纵坐标为score，图线颜色为red，label为图例的名称
#从图中我们可以看到，当max_depth取3的时候，模型得分最高
plt.legend() #给图像加图例
plt.show() #显示所打开的图形