随机森林分类算法

随机森林(Random Forest,简称RF)是通过集成学习的思想将多棵树集成的一种算法,它的基本单元是决策树。假设现在针对的是分类问题,每棵决策树都是一个分类器,那么N棵树会有N个分类结果。随机森林集成了所有的分类投票结果,将投票次数最多的类别指定为最终输出。它可以很方便的并行训练。
森林表示决策树是多个。随机表现为两个方面:数据的随机性化、待选特征的随机化。
 
构建流程:采取有放回的抽样方式构造子数据集,保证不同子集之间的数量级一样(元素可以重复);利用子数据集来构建子决策树;将待预测数据放到每个子决策树中,每个子决策树输出一个结果;统计子决策树的投票结果,投票数多的就是随机森林的输出结果。
(1)从样本集中用 Bootstrap采样选出一定数量的样本,比如80%样本集;
(2)从所有属性中随机选择K个属性,在K个属性中再选择出最佳分割属性作为节点创建决策树;
(3)重复以上两步m次,即建立m棵决策树。可以并行:即m个样本同时提取,m棵决策树同时生成;
(4)这m个决策树形成随机森林,通过投票表决结果(比如少数服从多数)决定待预测数据的结果。
 
随机森林和决策树在单个决策树上的构建区别是:所有特征变成随机部分特征。部分数量是K个,K的取值有一定的讲究。太小了使得单棵树的精度太低,太大了树之间的相关性会加强,独立性会减弱。通常取总特征数的平方根。
PS1:有的文章介绍随机森林的使用时,对特征并没有随机部分选取,还是同决策树全部选取的。
PS2:现实情况下,一个数据集往往有成百个特征,如何选择对结果影响较大的那几个特征,以此来缩减建立模型时的特征数。可以参考: http://www.sohu.com/a/297967370_729271 五,特征重要性评估。
 
 
代码示例
from sklearn.datasets import load_iris
from sklearn.ensemble import RandomForestClassifier
import pandas as pd
import numpy as np
 
iris = load_iris()
df = pd.DataFrame(iris.data, columns=iris.feature_names)
df['is_train'] = np.random.uniform(0, 1, len(df)) <= 0.80
df['species'] = iris.target
# 得到训练集和测试集
train, test = df[df['is_train']==True], df[df['is_train']==False]
# 定义特征列
features = df.columns[:4]
 
# 训练模型,限制树的最大深度3,决策树个数10
clf = RandomForestClassifier(max_depth=3, n_estimators=10, max_features=1)
# 获得训练集中真实结果
Y, _ = pd.factorize(train['species'])
# 开始训练
clf.fit(train[features], Y)
 
# 通过测试集进行预测
preds = clf.predict(test[features])
print (preds)
print (test['species'].values)
 
# 显示预测准确率
diff = 0
for num in range(0,len(preds)):
   if(preds[num] != test['species'].values[num]):
       diff = diff + 1
rate = ((diff+0.0) / len(preds))
print (1.0-rate)
 
 
 

猜你喜欢

转载自www.cnblogs.com/myshuzhimei/p/11746846.html
今日推荐