集成学习Day1 机器学习简述与sklearn

集成学习Day1 机器学习简述与sklearn

1. 机器学习简述

   机器学习的一个主要任务是用数学模型理解数据，发现数据中的规律并用来做分析和预测。通常会将机器学习方法分为监督学习，无监督学习和强化学习。

(1) 监督学习

   监督学习：根据样本的某些特征来预测因变量。例如根据犯罪率、人口来估计房价。同时可以根据因变量是否连续，将监督学习任务分为预测（因变量离散）和回归（因变量连续）。

(2) 无监督学习

   无监督学习：定某些特征但不给定因变量，建模学习数据本身的结构和关系。例如聚类任务。

(3) 强化学习

   强化学习：不预先给定训练数据，智能体与环境交互获得环境的反馈并用于自身学习，目的是从与环境的交互中学习到可获得最大期望累计回报的最优策略。例如DQN玩Atari游戏。

2. sklearn代码

(1) 回归例子：可视化波士顿房价和一氧化碳浓度的关系

import numpy as numpy 
import pandas as pd 
import matplotlib.pyplot as plt 

plt.style.use("ggplot")
import seaborn as sns
from sklearn import datasets

boston = datasets.load_boston()
X = boston.data
y = boston.target
features = boston.feature_names
boston_data = pd.DataFrame(X, columns=features)
boston_data["Price"] = y 
boston_data.head()

sns.scatterplot(boston_data['NOX'], boston_data['Price'], color="r",alpha=0.6)
plt.title("Price~NOX")
plt.show()

(2) 分类例子：可视化鸢尾花数据集

import numpy as np
import pandas as pd 
import matplotlib.pyplot as plt 

plt.style.use("ggplot")
import seaborn as sns
from sklearn import datasets

iris = datasets.load_iris()
X = iris.data 
y = iris.target
features = iris.feature_names
iris_data = pd.DataFrame(X, columns=features)
iris_data['target'] = y
iris_data.head()

marker = ['s', 'x', 'o']
for index, c in enumerate(np.unique(y)):
    plt.scatter(x=iris_data.loc[y==c,"sepal length (cm)"],y=iris_data.loc[y==c,"sepal width (cm)"], marker=marker)

plt.xlabel("sepal length (cm)")
plt.ylabel("sepal width (cm)")
plt.legend()
plt.show()

(3) 无监督例子：月牙型非凸集和符合正态分布的聚类数据

from sklearn import datasets
import matplotlib.pyplot as plt
import numpy as np

x, y = datasets.make_moons(n_samples=2000, shuffle=True, noise=0.05, random_state=None)

for index, c in enumerate(np.unique(y)):
    plt.scatter(x[y==c, 0], x[y==c, 1], s=7)

plt.show()

x2, y2 = datasets.make_blobs(n_samples=5000, n_features=2, centers=3)
for index,c in enumerate(np.unique(y2)):
    plt.scatter(x2[y2==c, 0], x2[y2==c, 1], s=7)

plt.show()

每天都在学习，加油~~~

参考：
DataWhale组对学习-集成学习