随机森林算法

随机森林（Random Forest）算法 是一种集成学习（Ensemble Learning）方法，它由多个决策树组成，是一种分类、回归和特征选择的机器学习算法。

在随机森林中，每个决策树都是独立地训练的，每棵树的建立都是基于随机选取的 特征子集 和随机选取的 训练样本集。

在分类问题中，随机森林采用投票的方式来决定最终分类结果；
在回归问题中，随机森林采用平均值的方式来预测结果。

对于随机森林算法，必须知道的几个概念包括：

怎样选取的特征子集以及训练样本集；
我们很清楚决策树如何对分类值做出分类处理，然而决策树如何对连续值做出的分类处理？

对于第一个问题，很好回答和理解，所谓特征子集以及训练样本集，其实就是为了防止森林中所有的决策树的训练集一样，因为如果决策树的所有训练集一样，那就没有意义建造森林了。而抽取的方法有很多，最简单就像从口袋中抽球一样，随机抽出放回；将抽出的球构成训练样本集。

而对于第二个问题，就需要深思熟虑一下，首先需要理解的是：

对于全都是数字的训练集数据特征值，决策树在选取划分特征时通常会采用方差（Variance）或均方差（Mean Squared Error）来衡量特征的重要性，以找到能够最大化减少样本方差划分特征。
对于全都是分类的训练集数据特征，决策树在选取划分特征时通常会采用信息增益（Information Gain）来衡量特征的重要性，所谓最大信息增益，即最大化减少熵的选择。

其次，对于连续型特征，如体重、身高等等，采用二分法进行划分。具体来说，通过在特征值中选择一个分裂点，即可以将整个特征值数组分为两类的点，通常分裂点的选择有两种策略：

选择中位数：一种常见的选择分裂点的方法是选择特征值的中位数作为分裂点。具体来说，可以按照该特征值从小到大进行排序，然后选择中间位置上的值作为分裂点。
选择平均值：另一种选择分裂点的方法是选择特征值的平均值作为分裂点。具体来说，可以计算该特征值的平均值，并将其作为分裂点。

然后计算每个属性分裂后的哪个的方差减少值最大，即选择其作为分类选择。

下述内容将围绕随机森林算法实现一个著名的分类问题：鸢尾花预测；而实现回归问题，即波士顿房价通过随机森林算法预测将在【机器学习】P25 随机森林算法（2）实现 “波士顿房价” 预测中呈现；

随机森林算法实现分类鸢尾花

鸢尾花数据与特征：
鸢尾花，又称花卉之王，是一种常见的花卉植物，由于其具有多种颜色和品种，因此备受欣赏。在机器学习中，鸢尾花品种主要分为三类，其区分主要通过

萼片长度（sepal length）
萼片宽度（sepal width）
花瓣长度（petal length）
花瓣宽度（petal width）

四大属性来进行区分，如下图所示，我们截取 sklearn 中鸢尾花训练集前十个数据，通过 pandas 进行查看。

import pandas as pd

samples = X_train[:10]
targets = y_train[:10]
df = pd.DataFrame(samples, columns=iris.feature_names[:4])
df["Target"] = targets
df.insert(0, "Index", df.index+1)

print(df.to_string(index=False))

在这里插入图片描述

随机森林分类鸢尾花的操作步骤：

首先导入了需要的库和数据集；
然后将数据集拆分为训练集和测试集；
接下来，创建一个包含10个决策树的随机森林分类器 n_estimators=10，并使用训练集拟合模型；
然后使用测试集预测结果，并计算模型的准确率。

from sklearn.ensemble import RandomForestClassifier
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split

# 加载 iris 数据集
iris = load_iris()
X, y = iris.data, iris.target

# 将数据集拆分为训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, random_state=42)

# 创建随机森林分类器
rf = RandomForestClassifier(n_estimators=10)

# 使用训练集拟合模型
rf.fit(X_train, y_train)

# 获取每个决策树的预测结果
tree_predictions = []
for tree in rfc.estimators_:
    tree_predictions.append(tree.predict(X_test))

# 预测测试集
y_pred = rf.predict(X_test)

# 打印每个决策树的前十个测试案例的预测结果
for i, tree_prediction in enumerate(tree_predictions):
    print(f"Tree {
      
      i} predictions:", tree_prediction[:10])

# 打印随机森林的前十个测试案例的预测结果
print("Random forest predictions:", y_pred[:10])

# 计算模型精度
accuracy = rf.score(X_test, y_test)
# accuracy = sum(y_pred == y_test) / len(y_test)
print("Accuracy:", accuracy)

通过将随机森林的10个决策树打印各自对前十个测试案例的预测结果，还是发现存在不同的分类结果，但是最终都是按照投票的方式，得到最终的预测结果，并且达到准确率 100%

在这里插入图片描述

最后还可通过输入四个属性来获取预测的结果：

# 输入待预测的四个属性
input_data = [[5.1, 3.5, 1.4, 0.2],
              [7.0, 3.2, 4.7, 1.4],
              [6.3, 2.9, 5.6, 1.8],
              [4.8, 3.4, 1.9, 0.2]]

# 预测输入数据的分类
output_data = rf.predict(input_data)

# 输出预测结果
print(output_data)

【机器学习】P24 随机森林算法（1）实现 “鸢尾花” 预测