Hoeffding's inequality霍夫丁不等式

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/weixin_37895339/article/details/80435271

引入

1. 假定投硬币，投出正面的概率为$p$，反面的概率为$1-p$。则投出$n$次，正面出现的期望次数为$np$。硬币正面最多出现$k$次的概率可以通过下式确定
   $$P(H(n)\le k)=\sum\limits_{i=0}^k \left( {\begin{array}{*{20}{c}} {n} \\ {}i \end{array}} \right)p^i(1-p)^{n-i}$$
   $H(n)$为投n次硬币，正面出现的次数。

2. 假定$k=(p-\varepsilon)n$，其中$\varepsilon >0$，可得
   

   $$P[H(n)\le (p-\varepsilon)n]\le \exp(-2\varepsilon^2 n)$$

3. 同理假定$k=(p+\varepsilon)n$，其中$\varepsilon >0$，可得
   

   $$P[H(n)\ge (p+\varepsilon)n]\le \exp(-2\varepsilon^2 n)$$

4. 由2,3得
   

   $$P[(p+\varepsilon)n \ge H(n)\le (p-\varepsilon)n]\ge 1- 2\exp(-2\varepsilon^2 n)$$

常用形式

1. 假定$X_1,X_2,...,X_n$为有界独立随机变量，$0\le X_i\le1$，$E(\overline X)$为$\overline X$的期望，定义经验均值变量为
   

   $$\overline X = \frac{1}{n} (X_1+X_2+...+X_n)$$
   满足不等式
   $$P(\overline X -E(\overline X) \ge t) \le e^{-2nt^2}$$
   其中$0<t<\overline X -E(\overline X)$.

2. 更一般的情况，当$X_i$严格有界在区间$[a_i,b_i]$中
   

   $$P(\overline X -E(\overline X) \ge t) \le \exp(-\frac{2n^2t^2}{\sum_{i=1}^n(b_i-a_i)^2})$$
   $$P(|\overline X -E(\overline X)| \ge t) \le 2\exp(-\frac{2n^2t^2}{\sum_{i=1}^n(b_i-a_i)^2})$$

3. 霍夫丁不等式也能用于随机变量的和的情况，$S_n = X_1+X_2+...+X_n$，满足
   

   $$P(S_n-E(S_n)\ge t)\le \exp(-\frac{2t^2}{\sum_{i=1}^n(b_i-a_i)^2})$$
   $$P(|S_n-E(S_n)|\ge t)\le 2\exp(-\frac{2t^2}{\sum_{i=1}^n(b_i-a_i)^2})$$