12.1 基础知识
12.1 基础知识
计算学习理论研究的是关于通过“计算”来进行“学习”的理论，即关于机器学习的理论基础，目的是分析学习任务的困难本质，为学习算法提供理论保证，并根据分析结果指导算法设计
样例集 
，
, 
，所有样本 i.i.d. ，
h为X到Y的映射（下面公式中的D是所有样本服从的一个未知分布D）
泛化误差：
，简记为
，
≤ε，ε表示预先设定的学得模型所应满足的误差要求，亦称“误差参数”
经验误差：
，简记为
两个映射之间差别度量：
常用不等式：
1、Jensen不等式：对任意凸函数f(x)，有 f(E(x)) ≤ E(f(x))
2、Hoeffding不等式： 若
为m个随机变量，且满足
，对任意ε，有
3、McDiarmid 不等式： 若
为m个随机变量，且任意 1≤i≤m，函数f满足
则对任意ε>0，有
12.2 PAC学习
计算学习理论中最基本的是概率近似正确（Probably Approximately Correct，简称PAC）学习理论。
c ：目标概念，对任何样例与c(x)=y成立
C：“概念类”，希望所学得的目标概念所构成的集合
L：学习算法
H：假设空间，给定学习算法L所认为可能的概念的集合，h∈H
m：从分布D中独立采样得到的样例数目
ε ：误差
δ ：置信度
size(x)：数据本身的复杂度
size(c)：目标概念的复杂度
若c∈H，则称该问题对学习算法L是可分的，反之不可分
PAC辨识：0<ε,δ<1，c∈C，分布D，若存在学习算法L使得h∈H满足：P ( E(h)≤ε ) ≥1-δ，则算法L能从假设空间H中PAC辨识概念类C。
PAC可学习：m，0<ε,δ<1，对所有分布D，若存在学习算法L和多项式函数poly(·,·,·,)，使得对任何m>poly(1/ε,1/δ,size(x),size(c))，L能从假设空间H中PAC辨识概念类C，则称概念类C对假设空间H而言是PAC可学习的，有时也简称概念类C是PAC可学习的。
PAC学习算法：若学习算法L使概念类C为PAC可学习，且L的运行时间也是多项式函数poly(1/ε,1/δ,size(x),size(c))，则称概念类C是高效PAC可学习的，称L为概念类C的PAC学习算法。
样本复杂度：满足PAC学习算法L所需的m>poly(1/ε,1/δ,size(x),size(c))中最小的m，称为学习算法L的样本复杂度。
PAC学习给出了一个抽象地刻画机器学习能力的框架；某任务在什么样的条件下可学得较好的模型？某算法在什么样的条件下可进行有效的学习？需要多少训练样例才能获得较好的模型？
