1、随机森林算法
随机森林是一个包含多个决策树的分类器，并且其输出的类别是由个别树输出的类别的众数而定。随机森林属于机器学习的一大分支——集成学习（EnsembleLearning）方法。随机森林具有对于很多种资料，可以产生高准确度的分类器；可以处理大量的输入变数；可以在决定类别时，评估变数的重要性；可以在内部对于一般化后的误差产生不偏差的估计；对于不平衡的分类资料集来说，可以平衡误差等优点。
2、随机森林算法步骤
首先，对样本数据进行有放回的抽样，得到多个样本集。具体来讲就是每次从原来的N个训练样本中有放回地随机抽取N个样本(包括可能重复样本)。
然后，从候选的特征中随机抽取m个特征，作为当前节点下决策的备选特征，从这些特征中选择最好地划分训练样本的特征。用每个样本集作为训练样本构造决策树。单个决策树在产生样本集和确定特征后，使用CART算法计算，不剪枝。
最后，得到所需数目的决策树后，随机森林方法对这些树的输出进行投票，以得票最多的类作为随机森林的决策。
3、随机森林应用举例
案例中使用的是sklearn中集成好的库，直接调用即可。
代码：
import numpyas np
import matplotlib.pyplotas plt
from sklearn.tree import DecisionTreeRegressor
N=100
x = np.random.rand(N) * 6 - 3
x.sort()
y=0.1*x**3+np.exp(-x*x/2)+ np.random.randn(N) * 0.2
x = x.reshape(-1, 1)
x_bar=np.linspace(-3,3,50).reshape(-1,1)
y_bar=0.1*x_bar**3+np.exp(-x_bar*x_bar/2)
plt.plot(x,y,'r.')
plt.plot(x_bar,y_bar)
plt.show()
plt.plot(x,y,'r.')
x_test=np.linspace(-3,3,50).reshape(-1,1)
dt = DecisionTreeRegressor(criterion='mse')
depth=[3,6,18]
color='rgy'
for d,c in zip(depth,color):
dt.set_params(max_depth=d)
dt.fit(x,y)
y_test = dt.predict(x_test)
plt.plot(x_test,y_test,'-',color=c,linewidth=2, label='Depth=%d' % d)
plt.legend(loc='upperleft')
plt.xlabel(u'X')
plt.ylabel(u'Y')
plt.grid(b=True)
plt.show()
结果：
