1.1 引言
我们能做出有效的预判,是因为我们已经积累了许多经验, 而通过对经验的利用,就能对新情况做出有效的决策。
机器学习就是这样一门学科, 他致力于研究如何通过计算的手段, 利用经验来改善系统自身的性能。在计算机系统中, “经验”通常以“数据”形式存在, 因此, 机器学习所研究的主要内容, 是关于在计算机上从数据中产生“模型”(model)的算法,即“学习算法”(learning algorithm)。有了学习算法,我们把经验数据提供给他,他就能基于这些数据产生模型;在面对新的情况时(例如看到一个没有剖开的西瓜),模型会给我们提供相应的判断(例如好瓜)。如果说计算机科学是研究关于“算法”的学问,那么类似的,可以说机器学习是研究关于“学习算法”的学问。
1.2 基本术语
- 数据集:data set
- 示例:instance 或 样本:sample
- 属性:attribute 或 特征:feature
- 属性值:attribute value
- 属性空间:attribute space
- 样本空间:sample space
- 特征向量:feature vector
一般地,令 表示包含m个示例的数据集,每个示例由d个属性描述,则每个示例 是d维样本空间 中的一个向量, ,其中 是 在第j个属性上的取值,d成为样本 的“维数”。
“学习” 或 “训练”:从数据中学得模型的过程。这个过程通过执行某个学习算法来完成。
“训练数据” :训练过程中使用的数据。其中每个样本称为一个“训练样本”,训练样本组成的集合称为 “训练集” 。
“假设” :模型对应数据的某种潜在规律。
“真相” 或 “真实” :这种规律自身。
“标记”(label)
“分类”(classification):预测的是离散值。
“回归”(regression):预测的是连续值。
“二分类”(binary classification):只涉及两个类别,一个类为“正类”,另一个是“反类”。
“多分类”(multi-class classification):涉及多个类别时。
“测试”(testing):
“测试样本”(testing sample)
“聚类”(clustering):讲训练集中的样本分成若干组,每组成为一个“簇”(cluster)。
“监督学习”(supervised learning)和“无监督学习”(unsupervised learning):是否拥有标记信息划分。分类和回归是前者的代表,聚类是后者的代表。
“泛化”(generalization):学得的模型适用于新样本的能力。
1.3 假设空间
“归纳学习”
“概念学习”:布尔值概念
1.4 归纳偏好
“归纳偏好” 或 “偏好”:机器学习算法在学习过程中对某种类型假设的偏好。(什么样的模型更好。)
任何一个有效的机器学习算法必有其归纳偏好。
“奥卡姆剃刀”:若有多个假设与观察一致,则选最简单的那个。
1.5 发展历程
机器学习是人工智能研究发展道一定阶段的必然产物。
“深度学习”:狭义就是“很多层”的神经网络。