一天一个统计小知识——3σ准则

今天来聊一下统计学中用于检测异常值的“3σ准则”

什么叫3σ准则呢？其实它是用来粗略检测异常值的一种方法，类似的还有“1σ准则”和“2σ准则”，下面进行具体说明。
在统计学中，如果一个变量服从正态分布，且它的均值是 $u$, 标准差是 $σ$,那么将有：

（1）68%的数据会落在 $u$ ± σ 内，即数据分布在处于( $u-σ$, $u+σ$)中的概率是0.68

（2）95%的数据会落在 $u$ ± 2σ 内，即数据分布在处于( $u-2σ$, $u+2σ$)中的概率是0.95

（3）99%的数据会落在 $u$ ± 3σ 内，即数据分布在处于( $u-3σ$, $u+3σ$)中的概率是099

所以当有一个数据落在均值（ $u$） ± 三倍标准差(3σ) 外，我们可以初步把它看作是异常数据，这是因为数据落在均值（ $u$） ± 三倍标准差(3σ) 外的概率只有1%，这种小概率的事件都发生了，我们就认为这个数据不是一个正常数据，换言之，它是一个异常数据。
tips：即使不是数据不服从正态分布，那么也有89%的数据落在均值的三个标准差范围内（出处忘记在哪了）

“3σ准则”虽然简单，却可以粗略的检测异常数据，其他的相对复杂异常检测方法还有PCA法、相似度法以及孤立森林等，后面再写一篇博客进行具体介绍。但是如果对精确要求不高，还是首选“3σ准则”，毕竟我们要遵守“奥卡姆剃刀原理”，即“如无必要，勿增实体”