计算学习理论(Computational learning theory)
12.1 计算学习基础知识
定义：通过计算来学习的理论。目的：是分析学习任务的困难本质，为学习算法提供理论保障，并根据分析结果指导算法设计。
12.2 PCA学习
Probably Approximately Correct 学习理论，概率近似正确。
12.3 有限假设空间
可分情形意味着目标概念c属于假设空间H，即。
12.4 VC维
现实学习任务所面临的通常是无限假设空间，欲对此种情形的可学习性进行研究，需度量假设空间的复杂度。
增长函数：增长函数表示假设空间H对m个示例所能赋予标记的最大可能结果数。H对示例所能赋予标记的可能结果数越大，H的表示能力越强，对学习任务的适应能力也越强。
12.5 Rademacher复杂度
基于VC维的泛化误差界是分布无关的、数据独立的，对任何数据分布都成立。
12.6 稳定性
无论是基于VC维还是Rademacher复杂度来推导泛化误差界，所得到的结果均与具体学习算法无关，对所有学习算法都适用。
算法的“稳定性”考察的是算法在输入发生变化时，输出是否会随之发生较大的变化。