机器学习|切比雪夫不等式（3sigma原则来源）|10mins入门|概统学习笔记（十）

切比雪夫不等式

• 定义：设随机变量X有期望E(X)和方差 $\sigma^2$，则对于任给的 $\epsilon>0$
  $P\{|X-E(X)|\geq \epsilon\}\leq \frac{\sigma^2}{\epsilon^2}$
  或
  $P\{|X-E(X)|<\epsilon\}\geq1-\frac{\sigma^2}{\epsilon^2}$
  由切比雪夫不等式可以看出，若 $\sigma^2$越小，则事件 $\{|X-E(X)|<\epsilon\}$的概率越大，即随机变量X集中在期望附近的可能性越大。

  由此，可体会方差的概率意义：它刻画了随机变量取值的离散程度

• 意义

  • 当方差已知时，切比雪夫不等式给出了随机变量X与它的期望的偏差不小于 $\epsilon$的概率的估计式。

    如取 $\epsilon=3\sigma$时，有
    $P\{|X-E(X)|\geq 3\sigma\}\leq \frac{\sigma^2}{9\sigma^2}\approx0.111$
    可见，对任给的分布，只要期望和方差 $\sigma^2$存在，则随机变量X取值偏离 $E(X)$超过 $3\sigma$的概率小于0.111