大数定律（4）：Hoeffding界

上一篇博文介绍的切诺夫界在实际应用中会比较麻烦，因为随机变量$E[e^{sX}]$的值通常很难求得，就算是求其上界，有时候也是一件难事。下面给出一个简洁但是非常实用的定理。

定理6. 对于一族分布在集合$\{0,1\}$上的独立同分布的随机变量$X_1,X_2,...,X_n$，假设

$$\Pr\{X_i=1\} = p$$
对所有的 $1\leq i \leq n$成立，那么对任意的 $\alpha > 0$有
$$\Pr\{\frac{1}{n}\sum_{i=1}^n X_i > p + \alpha\} < e^{-2n\alpha^2}.$$

证明 由切诺夫界，对任意的$s>0$有

$$\begin{array}{lll} \Pr\{\frac{1}{n}\sum_{i=1}^n X_i > p + \alpha\} &=&\Pr\{\sum_{i=1}^n X_i > n(p + \alpha)\}\\ &\overset{(a)}{<}&e^{-ns(p+\alpha)}\cdot E[e^{s\sum_{i=1}^n X_i}]\\ &\overset{(b)}{=}&e^{-ns(p+\alpha)}\cdot \prod_{i=1}^n E[e^{s X_i}]\\ &\overset{(c)}{=}&e^{-ns(p+\alpha)}\cdot \prod_{i=1}^n [(1-p)+p\cdot e^s]\\ &\overset{(d)}{\leq}&e^{-ns(p+\alpha)}\cdot e^{n(sp + s^2/8)}\\ &=&e^{n[-s\alpha+s^2/8]} \end{array}$$

其中(a)成立是因为切诺夫界，（b）成立是因为$X_1,X_2,...,X_n$相互独立，（c）成立是因为

$$E[e^{sX_i}] = Pr\{X_i=0\}e^{s\cdot 0} + Pr\{X_i=1\}e^{s\cdot 1} = (1-p) +pe^s,$$
(d)的推导较为复杂，我们稍后再介绍。为使 $e^{n[-s\alpha+s^2/8]}$取得最小，我们令 $s=4\alpha$，此时有
$$\Pr\{\frac{1}{n}\sum_{i=1}^n X_i > p + \alpha\}<e^{n[-s\alpha+s^2/8]}=e^{-2n\alpha^2},$$
这便是引理声明的结论。

接下来证明不等式(d)。事实上，我们只需要证明

$$\ln [(1-p)+p\cdot e^s] \leq sp + s^2/8.$$
为此，令
$$f(s) = \ln [(1-p)+p\cdot e^s].$$
它的一阶导和二阶导分别为
$$f'(s)=\frac{pe^s}{(1-p)+p\cdot e^s}$$
和
$$f''(s)=\frac{p(1-p)e^s}{[(1-p)+p\cdot e^s]^2} > 0.$$
由 $f(s)$的二阶泰勒展开式公式知
$$\begin{array}{lll} f(s)&\leq& f(0)+f'(0)s+\frac{f''(0)}{2}s^2\\ &=&ps+\frac{p(1-p)}{2}s^2\\ &\leq& ps +s^2/8. \end{array}$$
这便是我们需要的结论。引理证毕。