chapter1 机器学习概览

机器学习是让计算机具有学习的能力，无需进行明确的编程。

计算机程序利用经验E学习任务T，性能是P，如果针对任务T的性能P随着经验E不断增长，则称为机器学习。

监督学习算法

K近邻算法
线性回归
逻辑回归
支持向量机（SVM）
决策树和随机森林
神经网络

非监督学习

聚类

K均值

层次聚类分析（Hierarchical Cluster Analysis,HCA）

期望最大值

可视化和降维

主成分分析（Principal Component Analysis,PCA）

核主成分分析

局部线性嵌入（Locally-Linear Embedding,LLE）

T-分布邻域嵌入算法（t-distributed Stochastic Neighbor Embedding, t-SNE）

关联性规则学习

Apriori算法

Eclat算法

强化学习

学习系统在这里被称为智能体（agent），可以对环境进行观察，选择和执行动作，获得奖励（负奖励是惩罚）。然后它必须自己学习哪个是最佳方法（称为策略，policy），以得到长久的最大奖励。策略决定了智能体在给定情况下应该采取行动

批量学习

系统不能进行持续学习：必须用所有可用数据进行训练。一般是进行训练，然后部署在生产环境且停止学习，只是使用已经学到的策略，称为离线学习。

在线学习

用数据实例持续地进行训练，可以一次一个或几个实例（小批量）。每个学习步骤都很快且代价低，所以系统可以动态地学习到达的新数据。（在线表示持续学习，其实通常是离线完成的，易受到坏数据影响，像股票这样的实时预测）

样本偏差

如果样本太小，就会有样本噪声（一定概率包含没有代表性的数据），但即使是非常大的样本，若取样方法错误的话，也有可能出现类似错误。这就是样本偏差。

低质量数据

不相关的特征

过拟合训练数据

降低过拟合风险被称为正则化（regularization），正则化的度可以用一个超参数（hyperparameter）控制。这就涉及到超参数的调节。

欠拟合数据

测试和确认

假设最佳的超参数用在测试集错误率最低，但是用在实际中性能不佳，因为在测试集上多次测量了推广误差率，调整了模型和超参数，以使模型最适合这个集合，这意味着模型对新数据的性能不会高。可以使用交叉验证的方法：训练集分成互补的子集，每个模型用不同的子集训练，再用剩下的子集验证。一旦确定模型类型和超参数，最终的模型使用这些超参数和全部的训练集进行训练，用测试集得到推广误差率。

使用到的实例

import matplotlib
import matplotlib.pyplot as plt
import numpy as np
import pandas as pd
import sklearn
import pysnooper


@pysnooper.snoop('file.log', prefix='prepare_country_stats_debug: ')
def prepare_country_stats(oecd_bli, gdp_per_capita):
    oecd_bli = oecd_bli[oecd_bli["INEQUALITY"]=="TOT"]
    oecd_bli = oecd_bli.pivot(index="Country", columns="Indicator", values="Value")
    gdp_per_capita.rename(columns={"2015": "GDP per capita"}, inplace=True)
    gdp_per_capita.set_index("Country", inplace=True)
    full_country_stats = pd.merge(left=oecd_bli, right=gdp_per_capita,
                                  left_index=True, right_index=True)
    full_country_stats.sort_values(by="GDP per capita", inplace=True)
    remove_indices = [0, 1, 6, 8, 33, 34, 35]
    keep_indices = list(set(range(36)) - set(remove_indices))
    return full_country_stats[["GDP per capita", 'Life satisfaction']].iloc[keep_indices]

datapath = "C://Users/LENOVO/Desktop/book_need_reading/sklearn&tensorflow/data/"
oecd_bli = pd.read_csv(datapath + "oecd_bli_2015.csv", thousands=',')
gdp_per_capita = pd.read_csv(datapath + "gdp_per_capita.csv", 
                thousands=',', delimiter='\t', encoding='latin1', na_values="n/a")

country_stats = prepare_country_stats(oecd_bli, gdp_per_capita)
X = np.c_[country_stats["GDP per capita"]] 
y = np.c_[country_stats["Life satisfaction"]]

country_stats.plot(kind='scatter', x="GDP per capita", y="Life satisfaction")
plt.show()

lin_reg_model = sklearn.linear_model.LinearRegression()

lin_reg_model.fit(X, y)

X_new = [[22587]]
print(lin_reg_model.predict(X_new))

chapter1 机器学习概览

猜你喜欢