数据挖掘导论-数据

1.数据集的一般特征

(1)维度, dimensionality ,是数据集中的对象具有的属性数目。

(2)稀疏性,sparsity

(3)分辨率 resolusion

2.数据质量

噪声、伪像、偏倚、精度、准确率、离群点、遗漏、不一致的值、重复数据

(1)测量误差和数据收集错误

测量误差,measurement error,测量过程中导致的问题,测量值与实际值的差称为误差。

(2)噪声和伪像

噪声,通常用语包含时间或者空间分量的数据。

(3)精度、偏倚、准确率

精度,precision,同一个量的重复测量值之间的接近程度

偏倚,bias,测量值和被测量之间的系统的变差

准确率,accuracy,被测量的测量值和实际值之间的接近度

(4)离群点 outlier

(5)遗漏值

(6)不一致的值

(7)重复数据

3.数据预处理

(1)聚集,aggregation

将两个或多个对象合并成单个对象。

(2)抽样 

有效抽样的主要原理:如果样本是有代表性的,则使用样本与使用整个数据集的效果几乎是一样的。

选择样本的方法:

简单随机抽样 simple random sampling 包括无放回抽样和有放回抽样

分层抽样 stratified sampling ,预先从指定的组开始抽样

猜你喜欢

转载自y-x.iteye.com/blog/2020802
今日推荐