1.3 假设空间
-
归纳 (induction)与演绎 (deduction)是科学推理的两大基本手段。
-
归纳：从特殊到一般的"泛化" (generalization)过程，即从具体的事实归结出一般性规律。
-
演绎：从一般到特殊的"特化" (specialization)过程，即从基础原理推演出具体状况。
-
例：
演绎：在数学公理系镜中，基于一组公理和推理规则推导出与之相洽的定理。
而"从样例中学习"显然是一个归纳的过程，因此亦称"归纳学习" (inductive learning). -
归纳狭义：狭义的归纳学习 要求从训练数据中学得概念 (concept) ，因此亦称为"概念学习"或"概念形成"。
-
广义的归纳学习大体相当于从样例中学习。
-
概念学习目前研究、应用都比较少，因为要学得泛化性能好且语义明确的概念很难。现实中常用技术大多产生“黑箱”模型。
-
概念学习中最基本的是布尔概念学习，即对"是" "不是"这样的可表示为 0/1 布尔值的目标概念的学习。
-
布尔表达式写出来则是"好瓜 ↔(色泽=?) ^ (根蒂 = ?) ^ (敲声 = ?)"，？表示尚未确定的取值，我们的任务就是通过对表1.1的训练集进行学习把"?"确定下来。
-
可以把学习过程看作一个在所有假设(hypothesis)组成的空间中进行搜索的过程，搜索目标是找到与训练集"匹配"(fit) 的假设.
-
通配符：好瓜 ↔(色泽=*) ^ (根蒂 = ?) ^ (敲声 = ?)
-
∮表示不存在“好瓜 ”
-
搜索策略：自顶向下、从一般到特殊、自底向上、从特殊到一半。
-
搜索过程中可以不断删除与正例不一致的假设、和(或)与反例一致的假设.最终将会获得与训练集一致(即对所有训练样本能够进行正确判断)的假设，这就是我们学得的结果。
-
注意的是，现实问题中我们常面临很大的假设空间?但学习过程是基于有限样本训练集进行的，因此，可能有多个假设与训练集一致，即存在着一个与训练集一致的"假设集合"，我们称之为"版本空间" (version space). 例如，在西瓜问题中，与表1. 1 训练集所对应的版本空间如图1.2 所示.
