第一章 绪论
一、 基本术语
1、分类、回归、聚类
分类（classification）：预测的是离散值，例如“好瓜” “坏瓜”
回归（regression）：预测的是连续值，例如西瓜成熟度0.95、0.37
聚类（clustering）：将训练集中的西瓜分成若干组，每组称为一个“簇”（cluster);这些自动形成的簇可能对应一些潜在的概念 划分，例如“浅色瓜” “深色瓜”，甚 至“本地瓜” “外地瓜”
2、监督学习与非监督学习
监督学习（supervised learning）：训练数据有标记信息，如分类和回归
非监督学习（unsupervised learning）：训练数据没有标记信息，如聚类
3、泛化（generalization)）
泛化：学得模型适用于新样本的能力，即在新数据上表现依旧良好的能力。
机器学习的目标：是使学得的模型能很好地适用于“新样本”, 而不是仅仅在训练样本上工作得很好。尽管训练集通常只是样本空间的一个很小的釆样，我们仍希望它能很好地反映出样本空间的特性，否则就很难期望在训练集上学得的模型能在整个样本空间上都工作得很好，每个样本都是“独立同分布”。
二、 假设空间
即所有可能取值组成的空间。
三、 归纳偏好
1、归纳偏好
在机器学习算法在学习过程中对某种类型假设的偏好,称为“归纳偏好”（inductive bias),或简称为“偏好”
2、奥卡姆剃刀原则
每个训练样本是图中的一个点要学得一个与训练集一致的模型，相当于找到一 条穿过所有训练样本点的曲线.显然，对有限个样本点组成的训练集，存在着 很多条曲线与其一致.我们的学习算法必须有某种偏好，才能产出它认为“正 确”的模型。
A/B曲线，哪一个更好呢？
“奥卡姆剃刀”（Occam’s razor)是一种常用的、自然科学 研究中最基本的原则，即“若有多个假设与观察一致，则选最简单的那个”-----A更好。
注：奥卡姆剃刀并非总是有效。
3、“没有免费的午餐”定理
<1>定理
对于一个学习算法A若它在某些问题上比学习算法B好，则必然存在另一些问题，在那里B比A好.有趣的是，这个结论对任何算法均成立。
也就是说，无论学习算法A多聪明、学习算法B多笨拙，它们的期望性能竟然相同！这就是“没有免费的午餐”定理（No Free Lunch Theorem,简称NFL 定理）[Wolpert， 1996; Wolpert and Macready, 1995].
<2>特定问题的学习算法
这下子，读者对机器学习的热情可能被一盆冷水浇透了：既然所有学习算 法的期望性能都跟随机胡猜差不多，那还有什么好学的？
我们需注意到，NFL定理有一个重要前提：所有“问题”出现的机会相 同、或所有问题同等重要.但实际情形并不是这样.很多时候，我们只关注自 己正在试图解决的问题(例如某个具体应用任务)，希望为它找到一个解决方案， 至于这个解决方案在别的问题、甚至在相似的问题上是否为好方案，我们并不关心
所以，NFL定理最重要的寓意，是让我们清楚地认识到，脱离具体问题，空 泛地谈论“什么学习算法更好”毫无意义，因为若考虑所有潜在的问题，则所 有学习算法都一样好.要谈论算法的相对优劣，必须要针对具体的学习问题；在 某些问题上表现好的学习算法，在另一些问题上却可能不尽如人意，学习算法 自身的归纳偏好与问题是否相配,往往会起到决定性的作用.