离群点检测

注意:数据挖掘中叫离群点而不是离散点,注意说法。一般要求不严格的话,就不用太过纠结了。

1.统计学方法(基于正态分布的离群点检测):

正态分布:1

12πσexp{(xμ)22σ2}

比如某个特征的数据满足正态分布

我们用样本(也就是极大似然估计得方法)求出 μ,σ


μ=1nΣni=1xi


σ2=1nΣni=1(xix¯)2


正态分布下,区域μ±3σ包含99.7%的数据,因此,可以大致认为这个范围之外的点就是离群点。

2.数据挖掘中,有箱图,IQR=Q3-Q1(四分位极差),Q3+1.5IQR或者Q1-1.5IQR之外的点可以认为是离群的。

还有其他一些检测方法,这篇博主的博客介绍的较为详细:

链接:点击打开链接

μ,σ

猜你喜欢

转载自blog.csdn.net/llm666coder/article/details/79963205