1、机器学习的分类
（1）有监督学习
用已知某种或某些特性的样本作为训练集，以建立一个数学模型，再用已建立的模型来预测未知样本，此种方法被称为有监督学习，是最常用的一种机器学习方法。是从标签化训练数据集中推断出模型的机器学习任务。
- 判别式模型(Discriminative Model)：直接对条件概率p(y|x)进行建模，常见判别模型有：线性回归、决策树、支持向量机SVM、k近邻、神经网络等；
- 生成式模型(Generative Model)：对联合分布概率p(x,y)进行建模，常见生成式模型有：隐马尔可夫模型HMM、朴素贝叶斯模型、高斯混合模型GMM、LDA等；
生成式模型更普适；判别式模型更直接，目标性更强。生成式模型关注数据是如何产生的，寻找的是数据分布模型；判别式模型关注的数据的差异性，寻找的是分类面。由生成式模型可以产生判别是模型，但是由判别式模式没法形成生成式模型。
（2）无监督学习
与监督学习相比，无监督学习的训练集中没有人为的标注的结果，在非监督的学习过程中，数据并不被特别标识，学习模型是为了推断出数据的一些内在结构。
无监督学习试图学习或者提取数据背后的数据特征，或者从数据中抽取出重要的特征信息，常见的算法有聚类、降维、文本处理(特征抽取)等。
无监督学习一般是作为有监督学习的前期数据处理，功能是从原始数据中抽取出
必要的标签信息。
（3）半监督学习(SSL)
考虑如何利用少量的标注样本和大量的未标注样本进行训练和分类的问题，是有监督学习和无监督学习的结合。
主要考虑如何利用少量的标注样本和大量的未标注样本进行训练和分类的问题。
半监督学习对于减少标注代价，提高学习机器性能具有非常重大的实际意义。
SSL的成立依赖于模型假设，主要分为三大类：平滑假设、聚类假设、流行假设；其中流行假设更具有普片性。
SSL类型的算法主要分为四大类：半监督分类、半监督回归、半监督聚类、半监督降维。
缺点：抗干扰能力弱，仅适合于实验室环境，其现实意义还没有体现出来；未来的发展主要是聚焦于新模型假设的产生。
2、机器学习的第二种分类
（1）分类
通过分类模型，将样本数据集中的样本映射到某个给定的类别中。
（2）聚类
通过聚类模型，将样本数据集中的样本分为几个类别，属于同一类别的样本相似性比较大。
（3）回归
反映了样本数据集中样本的属性值的特性，通过函数表达样本映射的关系来发现属性值之间的依赖关系。
（4）关联规则
获取隐藏在数据项之间的关联或相互关系，即可以根据一个数据项的出现推导出其他数据项的出现频率。
3、机器学习算法Top10
| 算法名称 | 算法描述 |
|---|---|
| C4.5 | 分类决策树算法，决策树的核心算法，ID3算法的改进算法 |
| CART | 分类与回归树(Classification and Regression Trees) |
| kNN | K近邻分类算法；如果一个样本在特征空间中的k个最相似的样本中大多数属于某一个类别，那么该样本也属于该类别 |
| NaiveBayes | 贝叶斯分类模型；该模型比较适合属性相关性比较小的时候，如果属性相关性比较大的时候，决策树模型比贝叶斯分类模型效果好(原因：贝叶斯模型假设属性之间是互不影响的) |
| SVM | 支持向量机，一种有监督学习的统计学习方法，广泛应用于统计分类和回归分析中 |
| EM | 最大期望算法，常用于机器学习和计算机视觉中的数据集聚领域 |
| Apriori | 关联规则挖掘算法 |
| K-Means | 聚类算法，功能是将n个对象根据属性特征分为k个分割(k<n); 属于无监督学习 |
| PageRank | Google搜索重要算法之一 |
| AdaBoost | 迭代算法；利用多个分类器进行数据分类 |
