假设空间和版本空间——西瓜问题
以上是西瓜数据集的训练集
色泽有“青绿”、“乌黑”和“浅白”三种
根蒂有“蜷缩”、“硬挺”和“稍蜷”三种
敲声有“浊响”、“清脆”和“沉闷”三种
西瓜书中的假设空间由形如“好瓜<–>(色泽=?)∧(根蒂=?)∧(敲响=?)”的可能取值所形成的假设组成。并且考虑极端情况，即世界上没有“好瓜”这种东西，用∅表示这个假设。此时的假设空间规模为4×4×4+1=65种情况。在此博主进行了细致说明。
现实问题中我们常面临很大的假设空间，但学习过程是基于有限样本训练集进行的，因此，可能有多个假设与训练集一致，即存在着一个与训练集一致的“假设集合”，我们称之为“版本空间”。
寻找版本空间：从假设空间中删除与正例（即好瓜）不一致的假设、和（或）与反例（坏瓜）一致的假设，最终获得与训练集一致的假设。
此时相应的版本空间为：
- (色泽＝＊，根蒂＝蜷缩，敲声＝＊)
- (色泽＝＊，根蒂＝＊，敲声＝浊响)
- (色泽＝＊，根蒂＝蜷缩，敲声＝浊响)
当训练集仅有案例1,4时，相应的版本空间为：
1.（色泽＝青绿）∧（根蒂＝ ∗ ）∧（敲声＝ ∗ ）
2.（色泽＝ ∗ ）∧（根蒂＝蜷缩）∧（敲声＝ ∗ ）
3.（色泽＝ ∗ ）∧（根蒂＝ ∗ ）∧（敲声＝浊响）
4.（色泽＝青绿）∧（根蒂＝蜷缩）∧（敲声＝ ∗ ）
5.（色泽＝青绿）∧（根蒂＝ ∗ ）∧（敲声＝浊响）
6.（色泽＝ ∗ ）∧（根蒂＝蜷缩）∧（敲声＝浊响）
7.（色泽＝青绿）∧（根蒂＝蜷缩）∧（敲声＝浊响）
参考资料
《机器学习》（西瓜书）课后习题答案 第一章-绪论
周志华《机器学习》习题解答：Ch1 - 绪论
假设空间和版本空间
周志华老师《机器学习》假设空间和版本空间概念辨析
归纳偏置
【机器学习】浅谈 归纳偏置 (Inductive Bias)
- 通俗理解：归纳偏置可以理解为，从现实生活中观察到的现象中归纳出一定的规则 (heuristics)，然后对模型做一定的约束，从而可以起到 “模型选择” 的作用，类似贝叶斯学习中的 “先验”。
- 西瓜书解释：机器学习算法在学习过程中对某种类型假设的偏好，称为归纳偏好，简称偏好。归纳偏好可以看作学习算法自身在一个庞大的假设空间中对假设进行选择的启发式或 “价值观”。
- 维基百科解释：如果学习器需要去预测 “其未遇到过的输入” 的结果时，则需要一些假设来帮助它做出选择。
- 广义解释：归纳偏置会促使学习算法优先考虑具有某些属性的解。
例如，深度神经网络 就偏好性地认为，层次化处理信息有更好效果；卷积神经网络 认为信息具有空间局部性 (Locality)，可用滑动卷积共享权重的方式降低参数空间；循环神经网络 则将时序信息考虑进来，强调顺序重要性；图网络 则认为中心节点与邻居节点的相似性会更好引导信息流动。
