版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/u012294618/article/details/79247917
1.简述
在概率论中,霍夫丁不等式给出了随机变量的和与其期望值偏差的概率上限,该不等式被Wassily Hoeffding于1963年提出并证明。霍夫丁不等式是Azuma-Hoeffding不等式的特例,它比Sergei Bernstein于1923年证明的Bernstein不等式更具一般性。这几个不等式都是McDiarmid不等式的特例。
2.霍夫丁不等式
2.1.伯努利随机变量特例
掷硬币,假设正面朝上概率为
p
,反面朝上概率为
1−p
,投掷
n
次,则正面朝上次数的期望值为
np
。更进一步,有以下不等式:
P(H(n)≤k)=∑i=0k(ni)pi(1−p)n−i
其中,
H(n)
是
n
次投掷中,正面朝上的次数。
对某一
ε>0
,有
k=(p−ε)n
,上述不等式确定的霍夫丁上界将会按照指数级变化:
P(H(n)≤(p−ε)n)≤exp(−2ε2n)(2.1.1)
类似地,可以得到:
P(H(n)≥(p+ε)n)≤exp(−2ε2n)(2.1.2)
综合(2.1.1)(2.1.2),可得:
P((p−ε)n≤H(n)≤(p+ε)n)≥1−2exp(−2ε2n)(2.1.3)
令
ε=lnn/n‾‾‾‾‾√
,代入(2.1.3),有:
P(|H(n)−pn|≤lnn/n‾‾‾‾‾√)≥1−2exp(−2lnn)=1−2/n2(2.1.4)
(2.1.4)即为霍夫丁不等式的伯努利随机变量特例。
2.2.一般形式
令
X1,⋯,Xn
为独立的随机变量,且
Xi∈[a,b]
,
i=1,⋯,n
。这些随机变量的经验均值可表示为:
X¯=X1+⋯+Xnn
霍夫丁不等式叙述如下:
∀t>0,P(X¯−E[X¯]≥t)≤exp(−2n2t2∑ni=1(bi−ai)2)(2.2.1)
令
X¯=−X¯
,代入上述不等式,可得:
∀t>0,P(E[X¯]−X¯≥t)≤exp(−2n2t2∑ni=1(bi−ai)2)(2.2.2)
综合(2.2.1)(2.2.2),可得霍夫丁不等式的另一种形式:
∀t>0,P(|X¯−E[X¯]|≥t)≤2exp(−2n2t2∑ni=1(bi−ai)2)(2.2.3)
若令
Sn=X1+⋯+Xn
,霍夫丁不等式可叙述为:
∀t>0,P(Sn−E[Sn]≥t)≤exp(−2t2∑ni=1(bi−ai)2)(2.2.4)
∀t>0,P(E[Sn]−Sn≥t)≤exp(−2t2∑ni=1(bi−ai)2)(2.2.5)
∀t>0,P(|Sn−E[Sn]|≥t)≤2exp(−2t2∑ni=1(bi−ai)2)(2.2.6)
从(2.2.1)推导(2.2.4),只需对不等式
X¯−E[X¯]≥t
左右两边同乘系数
n
,再令
t=nt
即可。不难看出,当
Xi
为伯努利随机变量时,(2.2.6)即可转化为(2.1.4)。
需要注意的是,
Xi
若为无放回抽样时的随机变量,该等式依然成立,尽管此时这些随机变量已不再独立。相关证明可查看Hoeffding在1963年发表的论文。在无放回抽样时,若想要更好的概率边界,可查看Serfling在1974年发表的论文。
参考文献
[1] http://blog.csdn.net/z_x_1996/article/details/73564926
[2] https://en.wikipedia.org/wiki/Hoeffding%27s_inequality
以上为本文的全部参考文献,对原作者表示感谢。