机器学习与应用 part 2

机器学习与应用

第二天 机器学习与应用

• 1.sklearn数据集与估计器
• 2.分类算法k近邻算法

一 sklearn 数据集与估计器

1.1 sklearn 数据集

• 数据集划分
• sklearn数据集接口介绍
• sklearn分类数据集
• sklearn回归数据集

1.1.1 数据集的划分

数据集划分

思考：如果数据集全部用于训练模型，有什么问题？
只训练了模型，没有数据集对模型进行验证，没有模型的调优

机器学习数据集划分为训练数据和测试数据：
训练数据：运用训练，构建模型
测试数据：在模型检验时使用，用于评估模型是否有效

1.1.2 数据集API

sklearn数据集划分API
sklearn.model_selection.train_test_split
机器学习为什么不自己准备数据
自己准备数据集，耗时耗力，不一定真实。

1.1.2.1 sklearn 数据集API介绍

sklearn.datasets
加载获取流行数据集
datasets.load_*()
获取小规模数据集，数据包含在datasets里

datasets.fetch_*(data_home=None)
获取大规模数据集，需要从网络上下载，函数的第一个参数data_home，表示数据集下载的目录,默认是 ~/scikit_learn_data/

1.1.2.2 获取数据集返回的类型

load和fetch返回的数据类型datasets.base.Bunch(字典格式)
data：特征数据数组，是 [n_samples * n_features] 的二维 numpy.ndarray 数组
target：标签数组，是 n_samples 的一维 numpy.ndarray 数组
DESCR：数据描述
feature_names：特征名,新闻数据，手写数字、回归数据集没有
target_names：标签名,回归数据集没有

rom sklearn.datasets import load_iris


li = load_iris()
print(li.data)
print(li.target)
print(li.DESCR)
print(li.feature_names)
print(li.target_names)

# 划分数据集 x_train, x_test, y_train,y_test

from sklearn.model_selection import train_test_split
x_train , y_train, x_test, y_test = train_test_split(li.data, li.target, test_size=0.25)
print(x_train, y_train)
print("-------------")
print(x_test, y_test)

# 获取大数据集
from sklearn.datasets import fetch_20newsgroups
news = fetch_20newsgroups(subset='all')
print(news.data)

# 获取回归数据集
from sklearn.datasets import load_boston
lb = load_boston()
print(lb.data)
print(lb.target)

1.1.2.3 数据集进行分割

sklearn.model_selection.train_test_split(*arrays, **options)
x 数据集的特征值
y 数据集的标签值
test_size 测试集的大小，一般为float
random_state 随机数种子,不同的种子会造成不同的随机
采样结果。相同的种子采样结果相同。
return 训练集特征值，测试集特征值，训练标签，测试标签
(默认随机取)

1.1.2 转换器与预估器

想一下之前做的特征工程的步骤？
1、实例化 (实例化的是一个转换器类(Transformer))
2、调用fit_transform(对于文档建立分类词频矩阵，不能同时调用)

1.1.2.1 sklearn机器学习算法的实现-估计器

在sklearn中，估计器(estimator)是一个重要的角色，分类器和回归器都属于estimator，是一类实现了算法的API

1、用于分类的估计器：
sklearn.neighbors k-近邻算法
sklearn.naive_bayes 贝叶斯
sklearn.linear_model.LogisticRegression 逻辑回归
sklearn.tree 决策树与随机森林

2、用于回归的估计器：
sklearn.linear_model.LinearRegression 线性回归
sklearn.linear_model.Ridge 岭回归

1.1.2.2 估计器工作流程

二 分类算法

分类算法：k邻近，朴素贝叶斯，决策树，随机slin

2.1 分类算法-K邻近算法

定义：如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别，则该样本也属于这个类别
来源：KNN算法最早是由Cover和Hart提出的一种分类算法

计算公式: 欧式距离
两个样本的距离可以通过如下公式计算，又叫欧式距离
比如说，a(a1,a2,a3),b(b1,b2,b3)

sklearn k-近邻算法API
sklearn.neighbors.KNeighborsClassifier(n_neighbors=5,algorithm=‘auto’)
n_neighbors：int,可选（默认= 5），k_neighbors查询默认使用的邻居数
algorithm：{‘auto’，‘ball_tree’，‘kd_tree’，‘brute’}，可选用于计算最近邻居的算法：‘ball_tree’将会使用 BallTree，‘kd_tree’将使用 KDTree。‘auto’将尝试根据传递给fit方法的值来决定最合适的算法。 (不同实现方式影响效率)
k近邻算法实例-预测入住位置

数据的处理
1、缩小数据集范围
DataFrame.query()

2、处理日期数据
pd.to_datetime
pd.DatetimeIndex

3、增加分割的日期数据

4、删除没用的日期数据
DataFrame.drop

5、将签到位置少于n个用户的删除
place_count =data.groupby(‘place_id’).aggregate(np.count_nonzero)tf = place_count[place_count.row_id > 3].reset_index()
data = data[data[‘place_id’].isin(tf.place_id)]

2.2 分类算法-朴素贝叶斯

2.2.1 概率论基础

2.2.2 朴素贝叶斯介绍

概率定义为一件事情发生的可能性

联合概率和条件概率

联合概率
联合概率：包含多个条件，且所有条件同时成立的概率
P(A,B)或P（AB）
P(AB)=P(A)*P(B|A)

条件概率
条件概率：就是事件A在另外一个事件B已经发生条件下的发生概率
P(A|B)
P(A|B)=P(AB)/P(B)=P(B|A)*P(A)/P(B)

特性：P(A1,A2|B) = P(A1|B)P(A2|B)
注意：此条件概率的成立，是由于A1,A2相互独立的结果

朴素贝叶斯用于文本分类
实质：在文档中词语出现的情况下预测文档类别，概率表示为
P(文档类别1|文档特征值)
P(文档类别2|文档特征值）





m表示的是全部文档统计出的特征词个数，在上面列子中m=221
sklearn朴素贝叶斯实现API
sklearn.naive_bayes.MultinomialNB

• MultinomialNB
  sklearn.naive_bayes.MultinomialNB(alpha = 1.0)
  朴素贝叶斯分类
  alpha：拉普拉斯平滑系数

2.2.3 朴素贝叶斯算法案例

sklearn20类新闻分类
20个新闻组数据集包含20个主题的18000个新闻组帖子
朴素贝叶斯案例流程

• 1加载20类新闻分类数据，并进行分割
• 2生成文章特征值
• 3朴素贝叶斯estimator流程进行预估
  朴素贝叶斯分类优缺点
• 优点：
  朴素贝叶斯模型发源于古典数学理论，有稳定的分类效率。
  对缺失数据不太敏感，算法也比较简单，常用于文本分类。
  分类准确度高，速度快
• 缺点：
  由于使用了样本属性独立性的假设，所以如果样本属性有关联时
  其效果不好

# 对中文进行文本分类，需要jieba分词和停词等，在另外博客中有案例
from sklearn.datasets import fetch_20newsgroups
from sklearn.model_selection import train_test_split
from sklearn.feature_extraction.text import  TfidfVectorizer
from sklearn.naive_bayes import MultinomialNB
from sklearn.metrics import classification_report


def naviebayes():
    """
    朴素贝叶斯算法进行新闻的分类
    :return:
    """
    # 首先获取数据集
    news = fetch_20newsgroups(subset='all')

    # 划分数据集为训练集合测试集
    x_train, x_test, y_train, y_test = train_test_split(news.data, news.target, test_size=0.25)

    # print("训练集的文章和文章类型：", y_train)

    # 进行特征抽取tfidf
    tf = TfidfVectorizer()

    x_train = tf.fit_transform(x_train)

    x_test = tf.transform(x_test)

    # 进行预测
    mlb = MultinomialNB(alpha=1.0)

    mlb.fit(x_train, y_train)

    y_predict = mlb.predict(x_test)

    print("预测的类别：", y_predict)

    print("真实的类别：", y_test)

    print("准确率：", mlb.score(x_test, y_test))

    # 打印评估指标
    print("每个类别精确率和召回率为：", classification_report(y_test, y_predict, target_names=news.target_names))

2.3 分类模型评估

• estimator.score()
  一般最常见使用的是准确率，即预测结果正确的百分比
• 混淆矩阵
  在分类任务下，预测结果(Predicted Condition)与正确标记(True Condition)之间存在四种不同的组合，构成混淆矩阵(适用于多分类)
  
• 精确率(Precision)与召回率(Recall，适用于癌症患者诊断结果)
• 其他分类标准，F1-score，反映了模型的稳健型
  
• 分类模型评估API
  sklearn.metrics.classification_report
  sklearn.metrics.classification_report(y_true, y_pred, target_names=None)
  y_true：真实目标值
  y_pred：估计器预测目标值
  target_names：目标类别名称
  return：每个类别精确率与召回率

2.4 模型的选择与调优

• 教材验证
• 网格搜索

2.4.1 交叉验证：为了让被评估的模型更加准确可信

交叉验证过程
交叉验证：将拿到的训练数据，分为训练和验证集。以下图为例：将数据分
成5份，其中一份作为验证集。然后经过5次(组)的测试，每次都更换不同
的验证集。即得到5组模型的结果，取平均值作为最终结果。又称5折交叉
验证。

2.4.2 超参数搜索-网格搜索

超参数搜索-网格搜索
通常情况下，有很多参数是需要手动指定的（如k-近邻算法中的K值），
这种叫超参数。但是手动过程繁杂，所以需要对模型预设几种超参数组
合。每组超参数都采用交叉验证来进行评估。最后选出最优参数组合建
立模型。

超参数搜索-网格搜索API
sklearn.model_selection.GridSearchCV

sklearn.model_selection.GridSearchCV(estimator, param_grid=None,cv=None)
对估计器的指定参数值进行详尽搜索
estimator：估计器对象
param_grid：估计器参数(dict){“n_neighbors”:[1,3,5]}
cv：指定几折交叉验证
fit：输入训练数据
score：准确率
结果分析：
best_score_:在交叉验证中验证的最好结果
best_estimator_：最好的参数模型
cv_results_:每次交叉验证后的测试集准确率结果和训练集准确率结果

import pandas as pd
from sklearn.model_selection import train_test_split, GridSearchCV
from sklearn.preprocessing import StandardScaler
from sklearn.neighbors import KNeighborsClassifier



# k-近邻算法预测入住位置

def knncls():
    """
    k-近邻算法预测入住位置
    :return: None
    """
    # 读取数据
    data = pd.read_csv("~/Downloads/temp/train.csv")
    print(data.head(10))
    # 特征工程
    # 1.缩小数据范围
    data = data.query(("x > 1.0 & x < 1.25 & y > 2.5 & y < 2.75"))
    # 2.进行时间装换，多构造一些特征
    time_value = pd.to_datetime(data['time'], unit="s")
    # 把时间设置为索引
    time_value = pd.DatetimeIndex(time_value)
    # 增加特征
    data['weekday'] = time_value.weekday
    data['day'] = time_value.day
    data['hour'] = time_value.hour
    data = data.drop(['time'], axis=1)
    # 对目标值进行筛选，避免预测类别太多（入住位置少于多少人的地址直接忽略）
    place_count = data.groupby("place_id").count()
    tf = place_count[place_count.row_id > 3].reset_index()
    data = data[data['place_id'].isin(tf.place_id)]
    print(data)
    # 整理出数据的特征值和目标值
    y = data["place_id"]
    x = data.drop(["place_id"], axis = 1)
    x_train, x_test, y_train, y_test = train_test_split(x, y, test_size=0.25)
    # k-近邻需要对特征进行标准化
    std = StandardScaler()
    x_train = std.fit_transform(x_train)
    x_test = std.transform(x_test)
    # 算法估计器
    # knn = KNeighborsClassifier(n_neighbors=5)
    knn = KNeighborsClassifier()
    knn.fit(x_train, y_train)
    # 预测结果
    y_predict = knn.predict(x_test)
    print("预测的准确率：", knn.score(x_test, y_test))





    # 算法估计器
    knn = KNeighborsClassifier()

    # knn.fit(x_train, y_train)
    #
    # # 预测结果
    # y_predict = knn.predict(x_test)
    #
    # print("预测的准确率：", knn.score(x_test, y_test))

    # 用交叉验证和网格搜索来进行预估
    param = {"n_neighbors": [3, 5, 7]}

    gc = GridSearchCV(knn, param_grid=param, cv=2)

    gc.fit(x_train, y_train)

    print("测试集的结果：", gc.score(x_test, y_test))

    # 查看超参数搜索的整个结果情况
    print("在交叉验证当中最好结果：", gc.best_score_)

    print("最好的参数模型：", gc.best_estimator_)

    print("每次交叉验证的结果：", gc.cv_results_)

    return None

knncls()

2.3 分类算法 决策树 随机森林

2.3.1 决策树

• 1、认识决策树
  决策树思想的来源非常朴素，程序设计中的条件分支结构就是if-then结构，最早的决策树就是利用这类结构分割数据的一种分类学习方法
  
  

• 2、信息论基础-银行贷款分析

信息熵

信息和消除不确定性是相联系的

决策树的划分依据之一-信息增益

特征A对训练数据集D的信息增益g(D,A),定义为集合D的信息熵H(D)与特征A给定条件下D的信息条件熵H(D|A)之差，即公式为：

注：信息增益表示得知特征X的信息而使得类Y的信息的不确定性减少的程度

常见决策树使用的算法

ID3
信息增益 最大的准则
C4.5
信息增益比 最大的准则
CART
回归树: 平方误差 最小
分类树: 基尼系数 最小的准则 在sklearn中可以选择划分的原则

• 3、决策树的生成
• 4、泰坦尼克号乘客生存分类
  
  
  

决策树的优缺点以及改进

import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.feature_extraction import DictVectorizer
from sklearn.tree import DecisionTreeClassifier
from sklearn.ensemble import RandomForestClassifier


# 决策树预测乘客是否存活

def descsion():
    """
    预测泰坦尼克号人员存活
    :return: None
    """
    # 获取数据， 提取出特征值和目标值
    titan = pd.read_csv("http://biostat.mc.vanderbilt.edu/wiki/pub/Main/DataSets/titanic.txt")
    print(titan)
    x = titan[['pclass', 'age', 'sex']]
    y = titan[['survived']]
    # 处理缺失值
    x['age'].fillna(x['age'].mean(), inplace=True)
    # 进行数据的分割
    x_train, x_test, y_train, y_test = train_test_split(x, y, test_size= 0.25)
    # 进行字典特征抽取（针对类别特征） [['1st', 24, 'female'],[]]----->[{"pclass":1st, "age":24, "sex":female},{},{},{}]
    dict = DictVectorizer(sparse=False)
    x_train = dict.fit_transform(x_train.to_dict(orient='records'))
    x_test = dict.transform(x_test.to_dict(orient='records'))
    # 查看列名
    print(dict.get_feature_names())
    # 进行决策树预测
    dec = DecisionTreeClassifier(max_depth=10)
    dec.fit(x_train, y_train)
    print("准确率：", dec.score(x_test, y_test))
    y_predict = dec.predict(x_test)
    print(y_predict)
    print(y_test)




    # 树的结构本地化保存
    # export_graphviz(dec, out_file="./tree.dot", feature_names=['年龄', 'pclass=1st', 'pclass=2nd', 'pclass=3rd', '女性', '男性'])

    #随机森林
    # rf = RandomForestClassifier(n_estimators=15, max_depth=10)
    # 
    # rf.fit(x_train, y_train)
    # 
    # print(rf.score(x_test, y_test))
    # 
    # return None

if __name__ == '__main__':
    descsion()

2.4 集成学习方法-随机森林

• 1、什么是随机森林
  定义：在机器学习中，随机森林是一个包含多个决策树的分类器，并且其输出的类别是由个别树输出的类别的众数而定。
  例如, 如果你训练了5个树, 其中有4个树的结果是True, 1个数的结果是False, 那么最终结果会是True.

• 2、随机森林的过程、优势
  

• 3、泰坦尼克号乘客生存分类分析

集成学习方法

集成学习通过建立几个模型组合的来解决单一预测问题。它的工作原理是生成多个分类器/模型，各自独立地学习和作出预测。这些预测最后结合成单预测，因此优于任何一个单分类的做出预测。