机器学习及算法-python

1、机器学习工作流程

• 1.获取数据

  • 数据简介

    在数据集中一般：

    • 一行数据我们称为一个样本
    • 一列数据我们成为一个特征
    • 有些数据有目标值（标签值），有些数据没有目标值（如上表中，电影类型就是这个数据集的目标值）

  • 数据类型构成：

    • 数据类型一：特征值+目标值（目标值是连续的和离散的）
    • 数据类型二：只有特征值，没有目标值

  • 数据分割：

    • 机器学习一般的数据集会划分为两个部分：
      • 训练数据：用于训练，构建模型
      • 测试数据：在模型检验时使用，用于评估模型是否有效
    • 划分比例：
      • 训练集：70% 80% 75%
      • 测试集：30% 20% 25%

• 2.数据基本处理

  • 即对数据进行缺失值、去除异常值等处理

• 3.特征工程
  机器学习中特征的处理

  • 特征提取
  • 特征预处理
  • 特征降维

• 4.机器学习(模型训练)

  • 选择合适的算法对模型进行训练

• 5.模型评估

  • 对训练好的模型进行评估
    • 按照数据集的目标值不同，可以把模型评估分为分类模型评估和回归模型评
  • 拟合
    • 欠拟合：模型学习的太过粗糙，连训练集中的样本数据特征关系都没有学出来。
    • 过拟合：所建的机器学习模型或者是深度学习模型在训练样本中表现得过于优越，导致在测试数据集中表现不佳。

2、机器学习算法分类

根据数据集组成不同，可以把机器学习算法分为：

• 监督学习
  • 定义：输入数据是由输入特征值和目标值所组成
    • 函数的输出可以是一个连续的值(称为回归）
    • 或是输出是有限个离散值（称作分类）
• 无监督学习
  • 定义：输入数据是由输入特征值组成，没有目标值
    • 输入数据没有被标记，也没有确定的结果。样本数据类别未知
    • 需要根据样本间的相似性对样本集进行类别划分
• 半监督学习
  • 训练集同时包含有标记样本数据和未标记样本数据。
• 强化学习
  • 实质是make decisions 问题，即自动进行决策，并且可以做连续决策
  • 强化学习的目标就是获得最多的累计奖励

监督学习和强化学习的对比

	监督学习	强化学习
反馈映射	输出的是之间的关系，可以告诉算法什么样的输入对应着什么样的输出。	输出的是给机器的反馈 reward function，即用来判断这个行为是好是坏。
反馈时间	做了比较坏的选择会立刻反馈给算法。	结果反馈有延时，有时候可能需要走了很多步以后才知道以前的某一步的选择是好还是坏。
输入特征	输入是独立同分布的。	面对的输入总是在变化，每当算法做出一个行为，它影响下一次决策的输入。

小结

	In	Out	目的	案例
监督学习 (supervised learning)	有标签	有反馈	预测结果	猫狗分类 房价预测
无监督学习 (unsupervised learning)	无标签	无反馈	发现潜在结构	“物以类聚，人以群分”
半监督学习 (Semi-Supervised Learning)	部分有标签，部分无标签	有反馈	降低数据标记的难度
强化学习 (reinforcement learning)	决策流程及激励系统	一系列行动	长期利益最大化	学下棋

3、Scikit-learn工具介绍

• Scikit-learn包含：
  • 分类、聚类、回归
  • 特征工程
  • 模型选择、调优
• 安装

pip3 install scikit-learn

机器学习基础五步

1、数据收集——scikit-learn数据集API

• sklearn.datasets
  • 加载获取流行数据集
  • datasets.load_*()
    • 获取小规模数据集，数据包含在datasets里
  • datasets.fetch_*(data_home=None)
    • 获取大规模数据集，需要从网络上下载，函数的第一个参数是data_home，表示数据集下载的目录,默认是 ~/scikit_learn_data/
• load和fetch返回的数据类型datasets.base.Bunch(字典格式)
  • data：特征数据数组，是 [n_samples * n_features] 的二维 numpy.ndarray 数组
  • target：标签数组，是 n_samples 的一维 numpy.ndarray 数组
  • DESCR：数据描述
  • feature_names：特征名,新闻数据，手写数字、回归数据集没有
  • target_names：标签名

2、数据基本处理——数据集划分API

• *sklearn.model_selection.train_test_split(arrays, options)
  • 参数：
    • x 数据集的特征值
    • y 数据集的标签值
    • test_size 测试集的大小，一般为float
    • random_state 随机数种子,不同的种子会造成不同的随机采样结果。相同的种子采样结果相同。
  • return
    • x_train, x_test, y_train, y_test

3、特征工程——特征预处理API

数据规约

离差标准化：

• sklearn.preprocessing.MinMaxScaler (feature_range=(0,1)… )
  • MinMaxScalar.fit_transform(X)
    • X:numpy array格式的数据[n_samples,n_features]
  • 返回值：转换后的形状相同的array

标准差标准化

• sklearn.preprocessing.StandardScaler( )
  • 处理之后每列来说所有数据都聚集在均值0附近标准差差为1
  • StandardScaler.fit_transform(X)
    • X:numpy array格式的数据[n_samples,n_features]
  • 返回值：转换后的形状相同的array

4、建模——(以下各种算法及对应API)

5、模型评估

• 对象.predict(测试集)
• 交叉验证，网格搜索(模型选择与调优)
  • sklearn.model_selection.GridSearchCV(estimator, param_grid=None,cv=None)
    • 对估计器的指定参数值进行详尽搜索
    • estimator：估计器对象
    • param_grid：估计器参数(dict){“n_neighbors”:[1,3,5]}
    • cv：指定几折交叉验证
    • fit：输入训练数据
    • score：准确率
    • 结果分析：
      • best_score_:在交叉验证中验证的最好结果*
      • best_estimator_：最好的参数模型
      • cv_results_:每次交叉验证后的验证集准确率结果和训练集准确率结果

4、KNN算法

根据距离测试点最近的K个点，判断测试点的类别

1）计算已知类别数据集中的点与当前点之间的距离

2）按距离递增次序排序

3）选取与当前点距离最小的k个点

4）统计前k个点所在的类别出现的频率

5）返回前k个点出现频率最高的类别作为当前点的预测分类

K值的选择

• 选择较小的K值，就相当于用较小的领域中的训练实例进行预测，“学习”近似误差会减小，只有与输入实例较近或相似的训练实例才会对预测结果起作用，与此同时带来的问题是“学习”的估计误差会增大，换句话说，K值的减小就意味着整体模型变得复杂，容易发生过拟合
• 选择较大的K值，就相当于用较大领域中的训练实例进行预测，其优点是可以减少学习的估计误差，但缺点是学习的近似误差会增大。这时候，与输入实例较远（不相似的）训练实例也会对预测器作用，使预测发生错误，且K值的增大就意味着整体的模型变得简单。
• K=N（N为训练样本个数），则完全不足取，因为此时无论输入实例是什么，都只是简单的预测它属于在训练实例中最多的类，模型过于简单，忽略了训练实例中大量有用信息。

kd树

根据KNN每次需要预测一个点时，我们都需要计算训练数据集里每个点到这个点的距离，然后选出距离最近的k个点进行投票。当数据集很大时，这个计算成本非常高。

kd树：为了避免每次都重新计算一遍距离，算法会把距离信息保存在一棵树里，这样在计算之前从树里查询距离信息，尽量避免重新计算。其基本原理是，如果A和B距离很远，B和C距离很近，那么A和C的距离也很远。有了这个信息，就可以在合适的时候跳过距离远的点。

K-邻近算法API

• sklearn.neighbors.KNeighborsClassifier(n_neighbors=5,algorithm=‘auto’)
  • n_neighbors：
    • int,可选（默认= 5），k_neighbors查询默认使用的邻居数
  • algorithm：{‘auto’，‘ball_tree’，‘kd_tree’，‘brute’}
    • 快速k近邻搜索算法，默认参数为auto，可以理解为算法自己决定合适的搜索算法。除此之外，用户也可以自己指定搜索算法ball_tree、kd_tree、brute方法进行搜索，
      • brute是蛮力搜索，也就是线性扫描，当训练集很大时，计算非常耗时。
      • kd_tree，构造kd树存储数据以便对其进行快速检索的树形数据结构，kd树也就是数据结构中的二叉树。以中值切分构造的树，每个结点是一个超矩形，在维数小于20时效率高。
      • ball tree是为了克服kd树高维失效而发明的，其构造过程是以质心C和半径r分割样本空间，每个节点是一个超球体。

5、线性回归

用于根据特征值预测连续性目标值

线性回归(Linear regression)是利用回归方程(函数)对一个或多个自变量(特征值)和因变量(目标值)之间关系进行建模的一种分析方式。

• w为权重值
• x为特征值

• yi为第i个训练样本的真实值
• h(xi)为第i个训练样本特征值组合预测函数
• 又称最小二乘法

整个过程就是找w的最小值的过程，因为权重越小损失越小

线性回归API

• sklearn.linear_model.LinearRegression(fit_intercept=True)
  • 通过正规方程优化
  • 参数
    • fit_intercept：是否计算偏置
  • 属性
    • LinearRegression.coef_：回归系数
    • LinearRegression.intercept_：偏置
• sklearn.linear_model.SGDRegressor(loss=“squared_loss”, fit_intercept=True, learning_rate =‘invscaling’, eta0=0.01)
  • SGDRegressor类实现了随机梯度下降学习，它支持不同的loss函数和正则化惩罚项来拟合线性回归模型。
  • 参数：
    • loss:损失类型
      • loss=”squared_loss”: 普通最小二乘法
    • fit_intercept：是否计算偏置
    • learning_rate : string, optional
      • 学习率填充
      • ’constant’: eta = eta0
      • ’optimal’: eta = 1.0 / (alpha * (t + t0)) [default]
      • ‘invscaling’: eta = eta0 / pow(t, power_t)
        • power_t=0.25:存在父类当中
      • 对于一个常数值的学习率来说，可以使用learning_rate=’constant’ ，并使用eta0来指定学习率。
  • 属性：
    • SGDRegressor.coef_：回归系数
    • SGDRegressor.intercept_：偏置

优化算法

• 正规方程

  • 

    X为特征值矩阵，y为目标值矩阵。直接求到最好的结果，但是特征过于复杂时效率太低

• 梯度下降

  • 

  α在梯度下降算法中被称作为学习率或者步长，α不能太大也不能太小，迭代次数固定情况下:α太小时，可能导致走不到最低点，α太大时，会导致错过最低点

  • 全梯度下降算法(Full gradient descent）
    • 计算训练集所有样本误差，对其求和再取平均值作为目标函数。
  • 随机梯度下降算法（Stochastic gradient descent）
    • 每次只代入计算一个样本目标函数的梯度来更新权重，再取下一个样本重复此过程，直到损失函数值停止下降或损失函数值小于某个可以容忍的阈值。
  • 小批量梯度下降算法（Mini-batch gradient descent）
    • 每次从训练样本集上随机抽取一个小样本集，在抽出来的小样本集上采用FG迭代更新权重。
  • 随机平均梯度下降算法（Stochastic average gradient descent）
    • 随机平均梯度算法克服了这个问题，在内存中为每一个样本都维护一个旧的梯度，随机选择第i个样本来更新此样本的梯度，其他样本的梯度保持不变，然后求得所有梯度的平均值，进而更新了参数。

梯度下降和正规方程的对比

梯度下降	正规方程
需要选择学习率	不需要
需要迭代求解	一次运算得出
特征数量较大可以使用	需要计算方程，时间复杂度高O(n3)

算法选择依据：

• 小规模数据：
  • 正规方程：LinearRegression(不能解决拟合问题)
  • 岭回归：
• 大规模数据：
  • 梯度下降法：SGDRegressor

均方误差(Mean Squared Error)MSE)评价机制

注：yi为预测值，y为真实值

• sklearn.metrics.mean_squared_error(y_true, y_pred)
  • 均方误差回归损失
  • y_true:真实值
  • y_pred:预测值
  • return:浮点数结果

欠拟合与过拟合

• 欠拟合原因以及解决办法
  • 原因：学习到数据的特征过少
  • 解决办法：
    • 1）添加其他特征项
    • 2）添加多项式特征
• 过拟合原因以及解决办法
  • 原因：原始特征过多，存在一些嘈杂特征， 模型过于复杂是因为模型尝试去兼顾各个测试数据点
  • 解决办法：
    • 1）重新清洗数据
    • 2）增大数据的训练量
    • 3）正则化
    • 4）减少特征维度，防止维灾难

正则化

在学习的时候，数据提供的特征有些影响模型复杂度或者这个特征的数据点异常较多，所以算法在学习的时候尽量减少这个特征的影响（甚至删除某个特征的影响），我们更多的也是去自己做特征选择，包括之前说的删除、合并一些特征

• 正则化类别

  • L2正则化(Ridge回归，岭回归)
    • 作用：可以使得其中一些W的都很小，都接近于0，削弱某个特征的影响
    • 优点：越小的参数说明模型越简单，越简单的模型则越不容易产生过拟合现象
  • L1正则化(LASSO回归)
    • 作用：可以使得其中一些W的值直接为0，删除这个特征的影响
  • Elastic Net 弹性网络
  • Early stopping

• 岭回归API

  • sklearn.linear_model.Ridge(alpha=1.0, fit_intercept=True,solver=“auto”, normalize=False)
    • 具有l2正则化的线性回归
    • alpha:正则化力度，也叫 λ
      • λ取值：0~1 1~10
    • solver:会根据数据自动选择优化方法
      • sag:如果数据集、特征都比较大，选择该随机梯度下降优化
    • normalize:数据是否进行标准化
      • normalize=False:可以在fit之前调用preprocessing.StandardScaler标准化数据
    • Ridge.coef_:回归权重
    • Ridge.intercept_:回归偏置

  Ridge方法相当于SGDRegressor(penalty=‘l2’, loss=“squared_loss”),只不过SGDRegressor实现了一个普通的随机梯度下降学习，推荐使用Ridge(实现了SAG)

  • sklearn.linear_model.RidgeCV(_BaseRidgeCV, RegressorMixin)
    • 具有l2正则化的线性回归，可以进行交叉验证
    • coef_:回归系数

模型的保存于加载

• from sklearn.externals import joblib
  • 保存：joblib.dump(estimator, ‘test.pkl’)
  • 加载：estimator = joblib.load(‘test.pkl’)

6、逻辑回归

6.1 介绍

逻辑回归（Logistic Regression）是机器学习中的一种分类模型，逻辑回归是一种分类算法。

6.2 输入

逻辑回归的输入就是一个线性回归的结果(h(w))。

激活函数(sigmoid函数)：

• 回归的结果输入到sigmoid函数当中
• 输出结果：[0, 1]区间中的一个概率值，默认为0.5为阈值

6.3 损失及优化

• 逻辑回归的损失，称之为对数似然损失

• 分情况讨论，对应的损失函数值：
  • 当y=1时，我们希望hθ(x)值越大越好；
  • 当y=0时，我们希望hθ(x)值越小越好
• 同样使用梯度下降优化算法，去减少损失函数的值。这样去更新逻辑回归前面对应算法的权重参数，提升原本属于1类别的概率，降低原本是0类别的概率。

6.4 逻辑回归API

• sklearn.linear_model.LogisticRegression(solver=‘liblinear’, penalty=‘l2’, C = 1.0)
  • solver可选参数:{‘liblinear’, ‘sag’, ‘saga’,‘newton-cg’, ‘lbfgs’}，
    • 默认: ‘liblinear’；用于优化问题的算法。
    • 对于小数据集来说，“liblinear”是个不错的选择，而“sag”和’saga’对于大型数据集会更快。
    • 对于多类问题，只有’newton-cg’， ‘sag’， 'saga’和’lbfgs’可以处理多项损失;“liblinear”仅限于“one-versus-rest”分类。
  • penalty：正则化的种类
  • C：正则化力度
• LogisticRegression方法相当于 SGDClassifier(loss=“log”, penalty=" "),SGDClassifier实现了一个普通的随机梯度下降学习。而使用LogisticRegression(实现了SAG)

6.5 分类评估

• 精确率：预测结果为正例样本中真实为正例的比例

• 召回率：真实为正例的样本中预测结果为正例的比例

• F1-Score：

• 分类评估API

  • sklearn.metrics.classification_report(y_true, y_pred, labels=[], target_names=None )
    • y_true：真实目标值
    • y_pred：估计器预测目标值
    • labels:指定类别对应的数字
    • target_names：目标类别名称
    • return：每个类别精确率与召回率

6.6 ROC曲线与AUC指标

• TPR = TP / (TP + FN)
  • 所有真实类别为1的样本中，预测类别为1的比例
• FPR = FP / (FP + TN)
  • 所有真实类别为0的样本中，预测类别为1的比例
• ROC曲线的横轴就是FPRate，纵轴就是TPRate，当二者相等时，表示的意义则是：对于不论真实类别是1还是0的样本，分类器预测为1的概率是相等的，此时AUC为0.5
• AUC指标(非常适合评价样本不平衡中的分类器性能,且只能用于二分类)
  • AUC的概率意义是随机取一对正负样本，正样本得分大于负样本得分的概率
  • AUC的范围在[0, 1]之间，并且越接近1越好，越接近0.5属于乱猜
  • AUC=1，完美分类器，采用这个预测模型时，不管设定什么阈值都能得出完美预测。绝大多数预测的场合，不存在完美分类器。
  • 0.5<AUC<1，优于随机猜测。这个分类器（模型）妥善设定阈值的话，能有预测价值。
• AUC计算API
  • from sklearn.metrics import roc_auc_score
    • sklearn.metrics.roc_auc_score(y_true, y_score)
      • 计算ROC曲线面积，即AUC值
      • y_true：每个样本的真实类别，必须为0(反例),1(正例)标记
      • y_score：预测得分，可以是正类的估计概率、置信值或者分类器方法的返回值

7、决策树

决策树：是一种树形结构，其中每个内部节点表示一个属性上的判断，每个分支代表一个判断结果的输出，最后每个叶节点代表一种分类结果，本质是一颗由多个判断节点组成的树。

7.1 信息熵(Entropy)

• 系统越有序，熵值越低；系统越混乱或者分散，熵值越高。

例子：

7.2 信息增益(决策树二分依据一)——>ID3算法

• 信息增益：以某特征划分数据集前后的熵的差值。熵可以表示样本集合的不确定性，熵越大，样本的不确定性就越大。因此可以使用划分前后集合熵的差值来衡量使用当前特征对于样本集合D划分效果的好坏。信息增益 = entroy(前) - entroy(后)

• 一般而言，信息增益越大，则意味着使用属性 a 来进行划分所获得的"纯度提升"越大。因此，我们可用信息增益来进行决策树的划分属性选择

• 信息增益准则对可取值数目较多的属性有所偏好，故一般使用信息增益率

7.3 信息增益率(决策树二分依据二)——>C4.5算法

• **增益率：**增益率是用前面的信息增益Gain(D, a)和属性a对应的"固有值"(intrinsic value) [Quinlan , 1993J的比值来共同定义的。

  属性 a 的可能取值数目越多(即 V 越大)，则 IV(a) 的值通常会越大.

• C4.5的优势

  1.用信息增益率来选择属性

  克服了用信息增益来选择属性时偏向选择值多的属性的不足。

  2.采用了一种后剪枝方法

  避免树的高度无节制的增长，避免过度拟合数据

  3.对于缺失值的处理

  处理缺少属性值的一种策略是赋给它结点n所对应的训练实例中该属性的最常见值；

  另外一种更复杂的策略是为A的每个可能值赋予一个概率。

7.4 基尼指数(决策树二分依据三)——>CART决策树

**基尼值Gini（D）：**从数据集D中随机抽取两个样本，其类别标记不一致的概率。故，Gini（D）值越小，数据集D的纯度越高。

数据集 D 的纯度可用基尼值来度量:
**基尼指数Gini_index（D）：**一般，选择使划分后基尼系数最小的属性作为最优化分属性。

7.5 决策树比较

名称	提出时间	分支方式	备注
ID3	1975	信息增益	ID3只能对离散属性的数据集构成决策树
C4.5	1993	信息增益率	优化后解决了ID3分支过程中总喜欢偏向选择值较多的 属性
CART	1984	Gini系数	可以进行分类和回归，可以处理离散属性，也可以处理连续属性

ID3 算法

存在的缺点

(1) ID3算法在选择根节点和各内部节点中的分支属性时，采用信息增益作为评价标准。信息增益的缺点是倾向于选择取值较多的属性，在有些情况下这类属性可能不会提供太多有价值的信息.

(2) ID3算法只能对描述属性为离散型属性的数据集构造决策树。

C4.5算法

做出的改进(为什么使用C4.5要好)

(1) 用信息增益率来选择属性

(2) 可以处理连续数值型属性

(3)采用了一种后剪枝方法

(4)对于缺失值的处理

C4.5算法的优缺点

优点：

产生的分类规则易于理解，准确率较高。

缺点：

在构造树的过程中，需要对数据集进行多次的顺序扫描和排序，因而导致算法的低效。

此外，C4.5只适合于能够驻留于内存的数据集，当训练集大得无法在内存容纳时程序无法运行。

CART算法

CART算法相比C4.5算法的分类方法，采用了简化的二叉树模型，同时特征选择采用了近似的基尼系数来简化计算。

C4.5不一定是二叉树，但CART一定是二叉树。

CART剪枝(防止过拟合)

• 剪枝原因【了解】
  • 噪声、样本冲突，即错误的样本数据
  • 特征即属性不能完全作为分类标准
  • 巧合的规律性，数据量不够大。
• 常用剪枝方法【知道】
  • 预剪枝
    • 在构建树的过程中，同时剪枝
      • 限制节点最小样本数
      • 指定数据高度
      • 指定熵值的最小值
  • 后剪枝
    • 把一棵树，构建完成之后，再进行从下往上的剪枝

决策树算法API

sklearn.tree.DecisionTreeClassifier(criterion=’gini’,max_depth=None,random_state=None)

• criterion
  • 特征选择标准
  • “gini"或者"entropy”，前者代表基尼系数，后者代表信息增益。一默认"gini"，即CART算法。
• min_samples_split
  • 内部节点再划分所需最小样本数
  • 这个值限制了子树继续划分的条件，如果某节点的样本数少于min_samples_split，则不会继续再尝试选择最优特征来进行划分。 默认是2.如果样本量不大，不需要管这个值。如果样本量数量级非常大，则推荐增大这个值。我之前的一个项目例子，有大概10万样本，建立决策树时，我选择了min_samples_split=10。可以作为参考。
• min_samples_leaf
  • 叶子节点最少样本数
  • 这个值限制了叶子节点最少的样本数，如果某叶子节点数目小于样本数，则会和兄弟节点一起被剪枝。 默认是1,可以输入最少的样本数的整数，或者最少样本数占样本总数的百分比。如果样本量不大，不需要管这个值。如果样本量数量级非常大，则推荐增大这个值。之前的10万样本项目使用min_samples_leaf的值为5，仅供参考。
• max_depth
  • 决策树最大深度
  • 决策树的最大深度，默认可以不输入，如果不输入的话，决策树在建立子树的时候不会限制子树的深度。一般来说，数据少或者特征少的时候可以不管这个值。如果模型样本量多，特征也多的情况下，推荐限制这个最大深度，具体的取值取决于数据的分布。常用的可以取值10-100之间
• random_state
  • 随机数种子

决策树可视化

sklearn.tree.export_graphviz() 该函数能够导出DOT格式

• tree.export_graphviz(estimator,out_file='tree.dot’,feature_names=[‘’,’’])

8、特征提取与特征降维

将任意数据（如文本或图像）转换为可用于机器学习的数字特征

特征提取分类:

• 字典特征提取(特征离散化)
• 文本特征提取
• 图像特征提取（深度学习将介绍）

8.1、字典提取

作用：对字典数据进行特征值化

• sklearn.feature_extraction.DictVectorizer(sparse=True,…)
  • DictVectorizer.fit_transform(X)
    • X:字典或者包含字典的迭代器返回值
    • 返回sparse矩阵
  • DictVectorizer.get_feature_names() 返回类别名称

8.2、文本特征提取

作用：对文本数据进行特征值化

• sklearn.feature_extraction.text.CountVectorizer(stop_words=[])
  • 返回词频矩阵
  • CountVectorizer.fit_transform(X)
    • X:文本或者包含文本字符串的可迭代对象
    • 返回值:返回sparse矩阵
  • CountVectorizer.get_feature_names() 返回值:单词列表

8.3、Tf-idf文本特征提取

• TF-IDF的主要思想是：如果某个词或短语在一篇文章中出现的概率高，并且在其他文章中很少出现，则认为此词或者短语具有很好的类别区分能力，适合用来分类。

• TF-IDF作用：用以评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度。

• 词频（term frequency，tf）指的是某一个给定的词语在该文件中出现的频率

• 逆向文档频率（inverse document frequency，idf）是一个词语普遍重要性的度量。某一特定词语的idf，可以由总文件数目除以包含该词语之文件的数目，再将得到的商取以10为底的对数得到

• sklearn.feature_extraction.text.TfidfVectorizer(stop_word=[])

  • stop_word:停用词，即忽略改词

8.4、特征降维

降维是指在某些限定条件下，降低随机变量(特征)个数，得到一组“不相关”主变量的过

• 特征选择

  • Filter(过滤式)：主要探究特征本身特点、特征与特征和目标值之间关联
    • 方差选择法：低方差特征过滤
    • 相关系数
  • Embedded (嵌入式)：算法自动选择特征（特征与目标值之间的关联）
    • 决策树:信息熵、信息增益
    • 正则化：L1、L2
    • 深度学习：卷积等
  • sklearn.feature_selection.VarianceThreshold(threshold = 0.0)
    • 删除所有低方差特征
    • Variance.fit_transform(X)
      • X:numpy array格式的数据[n_samples,n_features]
      • 返回值：训练集差异低于threshold的特征将被删除。默认值是保留所有非零方差特征，即删除所有样本中具有相同值的特征。

• 主成分分析（可以理解一种特征提取的方式）

  • 定义：高维数据转化为低维数据的过程，在此过程中可能会舍弃原有数据、创造新的变量
  • 作用：是数据维数压缩，尽可能降低原数据的维数（复杂度），损失少量信息。
  • 应用：回归分析或者聚类分析当中
  • sklearn.decomposition.PCA(n_components=None)
    • 将数据分解为较低维数空间
    • n_components:
      • 小数：表示保留百分之多少的信息
      • 整数：减少到多少特征
    • PCA.fit_transform(X) X:numpy array格式的数据[n_samples,n_features]
    • 返回值：转换后指定维度的array

• 相关系数

  • 皮尔逊相关系数

    • 特点

      相关系数的值介于–1与+1之间，即–1≤ r ≤+1。其性质如下：

      • 当r>0时，表示两变量正相关，r<0时，两变量为负相关
      • 当|r|=1时，表示两变量为完全相关，当r=0时，表示两变量间无相关关系
      • 当0<|r|<1时，表示两变量存在一定程度的相关。且|r|越接近1，两变量间线性关系越密切；|r|越接近于0，表示两变量的线性相关越弱
      • 一般可按三级划分：|r|<0.4为低度相关；0.4≤|r|<0.7为显著性相关；0.7≤|r|<1为高度线性相关

      API

      • from scipy.stats import pearsonr
        • x : (N,) array_like
        • y : (N,) array_like Returns: (Pearson’s correlation coefficient, p-value)

  • 斯皮尔曼相关系数

    • 特点

      • 斯皮尔曼相关系数表明 X (自变量) 和 Y (因变量)的相关方向。 如果当X增加时， Y 趋向于增加, 斯皮尔曼相关系数则为正
      • 与之前的皮尔逊相关系数大小性质一样，取值 [-1, 1]之间

      斯皮尔曼相关系数比皮尔逊相关系数应用更加广泛

      API

      • from scipy.stats import spearmanr

9、集成学习

集成学习通过建立几个模型来解决单一预测问题。它的工作原理是生成多个分类器/模型，各自独立地学习和作出预测。这些预测最后结合成组合预测，因此优于任何一个单分类的做出预测。

boosting：弱弱组合变强逐步增强学习，解决欠拟合问题

bagging：相互遏制变壮，解决过拟合问题

9.1、随机森林

随机森林 = Bagging + 决策树

随机森林够造过程中的关键步骤（M表示特征数目）：

1）一次随机选出一个样本，有放回的抽样，重复N次（有可能出现重复的样本）

2） 随机去选出m个特征, m <<M，建立决策树

• 随机抽样，每棵树的训练集都一样，那么最终训练出的树分类结果也是完全一样的

• 有放回的抽样，每棵树的训练样本都是相同的，投票表决机会均等

• sklearn.ensemble.RandomForestClassifier(n_estimators=10, criterion=’gini’, max_depth=None, bootstrap=True, random_state=None, min_samples_split=2)

  • n_estimators：integer，optional（default = 10）森林里的树木数量120,200,300,500,800,1200
  • Criterion：string，可选（default =“gini”）分割特征的测量方法
  • max_depth：integer或None，可选（默认=无）树的最大深度 5,8,15,25,30
  • max_features="auto”,每个决策树的最大特征数量
    • If “auto”, then max_features=sqrt(n_features).
    • If “sqrt”, then max_features=sqrt(n_features)(same as “auto”).
    • If “log2”, then max_features=log2(n_features).
    • If None, then max_features=n_features.
  • bootstrap：boolean，optional（default = True）是否在构建树时使用放回抽样
  • min_samples_split:节点划分最少样本数
  • min_samples_leaf:叶子节点的最小样本数
  • 超参数：n_estimator, max_depth, min_samples_split,min_samples_leaf

• Bagging + 决策树/线性回归/逻辑回归/深度学习… = bagging集成学习方法

  经过上面方式组成的集成学习方法:

  1. 均可在原有算法上提高约2%左右的泛化正确率
  2. 简单, 方便, 通用

9.2、boosting集成原理

随着学习的积累从弱到强

简而言之：每新加入一个弱学习器，整体能力就会得到提升

代表算法：Adaboost，GBDT，XGBoost

API

• sklearn.ensemble.AdaBoostClassifier()

9.3、bagging集成与boosting集成的区别

区别一:数据方面

Bagging：对数据进行采样训练；

Boosting：根据前一轮学习结果调整数据的重要性。

区别二:投票方面

Bagging：所有学习器平权投票；

Boosting：对学习器进行加权投票。

区别三:学习顺序

Bagging的学习是并行的，每个学习器没有依赖关系；

Boosting学习是串行，学习有先后顺序。

区别四:主要作用

Bagging主要用于提高泛化性能（解决过拟合，也可以说降低方差）

Boosting主要用于提高训练精度 （解决欠拟合，也可以说降低偏差）

9.4、GBDT

梯度提升决策树(GBDT Gradient Boosting Decision Tree) 是一种迭代的决策树算法，**该算法由多棵决策树组成，所有树的结论累加起来做最终答案。**它在被提出之初就被认为是泛化能力（generalization)较强的算法。近些年更因为被用于搜索排序的机器学习模型而引起大家关注。

GBDT = 梯度下降 + Boosting + 决策树

GBDT主要执行思想

1.使用梯度下降法优化代价函数；

2.使用一层决策树作为弱学习器，负梯度作为目标值；

3.利用boosting思想进行集成。

9.5、XGBoost

XGBoost= 二阶泰勒展开+boosting+决策树+正则化

Boosting：XGBoost使用Boosting提升思想对多个弱学习器进行迭代式学习

二阶泰勒展开：每一轮学习中，XGBoost对损失函数进行二阶泰勒展开，使用一阶和二阶梯度进行优化。

决策树：在每一轮学习中，XGBoost使用决策树算法作为弱学习进行优化。

正则化：在优化过程中XGBoost为防止过拟合，在损失函数中加入惩罚项，限制决策树的叶子节点个数以及决策树叶子节点的值。

10、聚类算法

聚类算法的概念

聚类算法：

一种典型的无监督学习算法，主要用于将相似的样本自动归到一个类别中。

在聚类算法中根据样本之间的相似性，将样本划分到不同的类别中，对于不同的相似度计算方法，会得到不同的聚类结果，常用的相似度计算方法有欧式距离法。

聚类算法与分类算法最大的区别

聚类算法是无监督的学习算法，而分类算法属于监督的学习算法。

API

• sklearn.cluster.KMeans(n_clusters=8)
  • 参数:
    • n_clusters:开始的聚类中心数量
      • 整型，缺省值=8，生成的聚类数，即产生的质心（centroids）数。
  • 方法:
    • estimator.fit(x)
    • estimator.predict(x)
    • estimator.fit_predict(x)
      • 计算聚类中心并预测每个样本属于哪个类别,相当于先调用fit(x),然后再调用predict(x)

k-means聚类步骤

• 1、随机设置K个特征空间内的点作为初始的聚类中心
• 2、对于其他每个点计算到K个中心的距离，未知的点选择最近的一个聚类中心点作为标记类别
• 3、接着对着标记的聚类中心之后，重新计算出每个聚类的新中心点（平均值）
• 4、如果计算得出的新中心点与原中心点一样（质心不再移动），那么结束，否则重新进行第二步过程

模型评估

• 误差平方和(sse)

• 肘方法

（1）对于n个点的数据集，迭代计算k from 1 to n，每次聚类完成后计算每个点到其所属的簇中心的距离的平方和；

（2）平方和是会逐渐变小的，直到k==n时平方和为0，因为每个点都是它所在的簇中心本身。

（3）在这个平方和变化过程中，会出现一个拐点也即“肘”点，下降率突然变缓时即认为是最佳的k值。

• 轮廓系数([-1,1]，系数越大，聚类效果越好)

  

  a：样本 i 到同簇内其他点不相似程度的平均值

  b：样本 i 到其他簇的平均不相似程度最小值

• CH系数

  类别内部数据的协方差越小越好，类别之间的协方差越大越好

算法优化

k-means算法优缺点总结

【知道】

• 优点：
  • 1.原理简单（靠近中心点），实现容易
  • 2.聚类效果中上（依赖K的选择）
  • 3.空间复杂度o(N)，时间复杂度o(IKN)
• 缺点：
  • 1.对离群点，噪声敏感 （中心点易偏移）
  • 2.很难发现大小差别很大的簇及进行增量计算
  • 3.结果不一定是全局最优，只能保证局部最优（与K的个数及初值选取有关）

优化算法

• Canopy+Kmeans：Canopy粗聚类配合Kmeans
• kmeans++：距离越远越容易成为新的质心
• 二分k-means：拆分SSE最大的簇
• ISODATA：动态聚类
• kernel kmeans：映射到高纬空间
• Mini-batch K-Means：大数据集分批聚类

11、算法选择