决策树（decision tree）算法的应用（Python scikit-learn库）

版权声明：如有转载复制请注明出处，博主QQ715608270，欢迎沟通交流！ https://blog.csdn.net/qq_41000891/article/details/83304673

前些天对决策树算法有了一个基本的了解，下面就这一个算法做实际应用的记录：

一、Python机器学习库：scikit-learn

1.1 特性：

• 简单高效的数据挖掘和机器学习分析
• 对所有用户开放，根据不同需求高度可重用性
• 基于Numpy，SciPy和matplotlib包
• 开源，商用级别：获得BSD许可

1.2 覆盖的问题领域：

• 分类（classification）
• 回归（regression）
• 聚类（clustering）
• 降维（dimensionnality reduction）
• 模型选择（model selection）
• 预处理（preprocessing）

1.3 安装和使用scikit-learn

安装方式：

• pip/pip3
• easy_install
• windows installar

安装包：

• numpy
• SciPy
• matplotlib
• 可使用Anaconda（包含numpy，scipy等科学计算常用的包）

相关引用：

from sklearn.feature_extraction import DictVectorizer
import csv
from sklearn import preprocessing
from sklearn import tree
from sklearn.externals.six import StringIO

1.4 例子

       这是一个购买电脑的数据集，我们把这些数据创建在excel表中方便python进行数据的读取，于是创建一个“decision_tree.csv”将数据输入进去。 

from sklearn.feature_extraction import DictVectorizer
import csv
from sklearn import tree
from sklearn import preprocessing
from sklearn.externals.six import StringIO

# Read in the csv file and put features into list of dict and list of class label
allElectronicsData = open(r'/home/zhoumiao/MachineLearning/01decisiontree/AllElectronics.csv', 'rb')
reader = csv.reader(allElectronicsData)
headers = reader.next()

print(headers)

featureList = []
labelList = []

for row in reader:
    labelList.append(row[len(row)-1])
    rowDict = {}
    for i in range(1, len(row)-1):
        rowDict[headers[i]] = row[i]
    featureList.append(rowDict)

print(featureList)

# Vetorize features
vec = DictVectorizer()
dummyX = vec.fit_transform(featureList) .toarray()

print("dummyX: " + str(dummyX))
print(vec.get_feature_names())

print("labelList: " + str(labelList))

# vectorize class labels
lb = preprocessing.LabelBinarizer()
dummyY = lb.fit_transform(labelList)
print("dummyY: " + str(dummyY))

# Using decision tree for classification
# clf = tree.DecisionTreeClassifier()
clf = tree.DecisionTreeClassifier(criterion='entropy')
clf = clf.fit(dummyX, dummyY)
print("clf: " + str(clf))


# Visualize model
with open("allElectronicInformationGainOri.dot", 'w') as f:
    f = tree.export_graphviz(clf, feature_names=vec.get_feature_names(), out_file=f)

oneRowX = dummyX[0, :]
print("oneRowX: " + str(oneRowX))

newRowX = oneRowX
newRowX[0] = 1
newRowX[2] = 0
print("newRowX: " + str(newRowX))

predictedY = clf.predict(newRowX)
print("predictedY: " + str(predictedY))