一、绪论
1.1基本术语
数据集：数据记录的集合。数据集中的每一条记录称作示例或样本。反映所研究事件或对象的特性叫做属性或特征。一个示例又被叫做一个特征向量。
学习或训练：从数据中学得模型的过程。
标记（label）：关于示例结果的信息。拥有标记的示例称为样例。
预测的是离散值称为分类，预测的是连续值成为回归。
学得模型后，使用其进行预测的过程称为测试。
聚类（clustering）：即将训练集中的西瓜分成若干组，每组称为一个“簇”（cluster）。例如浅色瓜、深色瓜。在聚类学习中，浅色瓜和深色瓜是自动形成的簇，浅色瓜深色瓜的概念我们事先并不知道，也不拥有标签。
根据训练数据是否有标记信息，讲学习分为两大类，监督学习（supervised learning）和无监督学习（unsupervised learning）。分类和回归属于监督学习，聚类属于无监督学习。
机器学习的目标是使学得的模型能更好地适应于新样本，学得模型适应于新样本的能力，称为“泛化”（generalization）能力。
1.2假设空间
假设空间有样本属性的所有可能取值所形成的假设（hypothesis）组成。例如“色泽=？ 根蒂=？ 敲声=？”的所有可能取值所形成的假设组成假设空间。
可能有多个假设与训练集一致，即存在着一个与训练集一致的“假设集合”，我们称之为“版本空间”（version space）。
1.3归纳偏好
机器学习算法在学习过程中对某些类型假设的偏好，称为“归纳偏好”。
“奥卡姆剃刀”原则是一种常用的可以用来引导算法确立“正确”偏好的原则，即“若由多个假设与观察一致，则选择最简单的那个。”
1.4发展历程
二十世纪五十年代至七十年代，人们认为只要赋予机器逻辑推理能力，机器就能具有智能。
二十世纪七十年代中期，要使机器具有智能，就必须设法使机器拥有知识。
二十世纪五十年代中后期，基于神经网络的“连接主义”（connection）学习开始出现，六七十年代，基于逻辑表示的“符号主义”（symbolism）学习开始发展。
