谈一谈PAC学习理论

这个系列的博客， 我将整理一下关于PAC 学习理论的知识。目的是用相对数学的角度，对PAC 理论的数学给出框架，再从通俗易懂的角度，给与相对直白的理解。

机器学习作为一个当下十分火热的话题，引来了无数学者的广泛研究。甚至高中已经开设了人工智能课啦。那么PAC 学习理论，也叫计算学习理论，解决了一个什么样的问题呢？

当你训练一个算法的时候，是否有时候问问自己以下几个问题呢？

譬如，这个学习算法最后可以收敛吗？有多大概率收敛呢？（把设计算法看作是买彩票的话，你有多大概率中奖呢？）

你需要多少样本呢？为什么需要这个数量的样本算法才能工作的很好呢？

下面，我们来一点点讨论下这个看似有些玄妙的问题。

我们先从 集中不等式 （Concentration inequality）说起。岔开话题显得很啰嗦，不过为了内容的完整性， 我们还是一步一步的来。

关于数学证明，只要是不太长的，我会在博文中直接给出，如果你被数学证明烦到了，就跳过证明直接来看结果。

集中不等式是数学中的一类不等式，描述了一个随机变量是否集中在某个取值附近。其实，这个概念对于只要熟悉本科概率论的朋友就不陌生， 因为本科的概率论里就有讲到过切比雪夫不等式。不过如果你还不熟悉，就按照我下面的引导来一步步看下去。我们实际要用到的是集中不等式中的Hoeffding 不等式，不过为了热热身，对集中不等式有点感觉， 我们先来两个简单的。

首先，介绍一个最简单的不等式，马尔科夫不等式。
马尔科夫不等式：对于一个非负随机变量$Z$，$P(Z\geq t) \leq \frac{\mathbb{E}[Z]}{t}$
证明：

$$\int_{0}^{\infty}P_Z(z)dz\leq\int_t^\infty\frac{z}{t}P_Z(z)dz\leq\int_0^\infty\frac{z}{t}P_Z(z)dz=\frac{\mathbb{E}[Z]}{t}$$

马尔科夫不等式告诉我们，对于一个非负的随机变量$Z$，$Z$大于一个值的概率可以用这个值和这个随机变量的均值来度量。
现在回头想想，为什么我们要先从集中不等式说起呢？
想想，如果$Z$是分类器分类的正确率，如果我们能得到这样一个集中不等式：

$$P(Z\geq \epsilon) \leq C$$
其中 $C$是一个和 $Z,\epsilon$有关的数，这样我们似乎就得到了一些关于分类器的正确率的信息。不过，这个过程比较曲折，我们一点点来。下面再来看一个不等式热热身。
切比雪夫不等式： $$P(|Z- \mathbb{E}[Z]| \geq t)\leq \frac{Var(Z)}{t^2}$$
我们来证明一下这个不等式：(第一个小于等于由于两个数 $a \geq b$那么 $a^2 \geq b^2$,第二个小于等于由马尔科夫不等式得到)
$$P(Z \geq t) \leq P(Z^2 \geq t^2) \leq \frac{\mathbb{E}[Z^2]}{t^2}$$
把 $Z$带成 $|Z-\mathbb{E}[Z]|$，化简得到切比雪夫不等式。
这两个不等式属于集中不等式中比较简单的，下面我们来看个复杂一点的不等式，