大数定律（3）：切诺夫界

在上一篇博文中介绍过，Markov不等式要求随机变量取正值。因此，为了使用Markov不等式，需要对原始的随机变量进行改造，需要构造随机变量的函数，这个函数只能取正值。最常见的正值函数有偶数幂函数和指数函数。切比雪夫不等式利用的是幂函数，而本文介绍的切诺夫界利用的是指数函数。

定理4. 对于任意给定的随机变量$X$，实数$a$，以及正实数$s>0$，都有

$$\Pr\{X>a\} < e^{-sa}E[e^{sX}].$$

证明.

$$\begin{array}{lll} \Pr\{X>a\}&=&\Pr\{e^{sX}>e^{sa}\}\\ &<&\frac{E[e^{sX}]}{e^{sa}}. \end{array}$$
其中上式的不等式是由于Markov不等式（ 定理1.）证毕。

注意. 定理4中的s可以取任何正实数。这样，我们可以对s进行优化，使得$e^{-sa}E[e^{sX}]$尽可能小。另外，通常情况下$E[e^{sX}]$精确的值很难求得，我们只能利用泰勒展开式求得其上界。

由定理4不难推得

定理5. 对于任意给定的随机变量$X$，实数$a$，以及正实数$s>0$，都有

$$\Pr\{X<a\} < e^{sa}E[e^{-sX}].$$
证明.
$$\begin{array}{lll} \Pr\{X<a\}&=&\Pr\{-X>-a\}\\ &<&e^{sa}E[e^{-sX}]. \end{array}$$
其中不等式成立是因为定理4。证毕。