【Python数据分析】数据预处理2——数据集成

数据挖掘需要的数据往往分布在不同的数据源中，数据集成就是将多个数据源合并存放在一个一致的数据存储位置（如数据仓库）中的过程。

一、实体识别

常见的实体识别有：

1.同名异义（两个不同数据源中属性名称相同）

2.异名同义（两个数据源中属性名称不同，但是代表同一个数据）

3.单位不统一

二、冗余属性识别

注意同一属性多次出现和同一属性命名不一致导致重复等情况

三、数据变换

1.简单函数变换

常用的包括平方、开方、取对数、差分运算等。简单的函数变换常用来将不具有正态分布的数据变换成具有正态分布的数据。对数变换则可以对数据进行压缩。

2.规范化

（1）最小最大规范化

${x}' = \frac{x-min}{max-min}$

这种处理方法的缺点是：如果数据集中且某个数值很大，则规范化后各值会接近与0且相差不大，如果将来遇到超过目前属性取值范围的时候，需要重新定义min和max

(2)零-均值规范化

${x}'=\frac{x-\bar{x}}{\sigma }$

(3)小数定标规范化

通过移动属性值的小数位数，将属性值映射到[-1,1]之间，移动的小数位取决于属性值绝对值的最大值。

${x}'=\frac{x}{10^{k}}$

以上三种规范化方法的代码如下：

(data - data.min()) / (data.max() - data.min())  # 最小-最大规范化
(data - data.mean()) / data.std()  # 零-均值规范化
data / 10 ** np.ceil(np.log10(data.abs().max()))  # 小数定标规范化

这篇文章中有更详细的规范化方法及sklearn中相关包的使用：2(1).数据预处理方法 - nxf_rabbit75 - 博客园

3.连续属性离散化

一些分类算法，比如ID3算法、Apriori算法等，要求数据是分类属性形式，所以需要连续属性离散化

常用的离散化方法有：

（1）等宽法：将属性的值域分成具有相同宽度的区间，区间的个数由数据本身的特点决定

（2）等频法：将相同数量的记录放进每个区间

import pandas as pd
import numpy as np
datafile = './Python数据分析与挖掘实战（第2版）/chapter3/demo/data/discretization_data.xls'  # 参数初始化
data = pd.read_excel(datafile)  # 读取数据
data = data[u'肝气郁结证型系数'].copy()
k = 4
d1 = pd.cut(data, k, labels = range(k))  # 等宽离散化，各个类比依次命名为0,1,2,3

#等频率离散化
w = [1.0*i/k for i in range(k+1)]
w = data.describe(percentiles = w)[4:4+k+1]  # 使用describe函数自动计算分位数
w[0] = w[0]*(1-1e-10)
d2 = pd.cut(data, w, labels = range(k))

（3）基于聚类分析的方法：

一维聚类方法包括两个步骤：首先将连续属性的值用聚类算法进行聚类，再将聚类得到的簇进行处理合并到一个簇的连续属性值做同一标记。

from sklearn.cluster import KMeans  # 引入KMeans
kmodel = KMeans(n_clusters = k, n_jobs = 4)  # 建立模型，n_jobs是并行数，一般等于CPU数较好
kmodel.fit(np.array(data).reshape((-1, 1)))  # 训练模型
c = pd.DataFrame(kmodel.cluster_centers_).sort_values(0)  # 输出聚类中心，并且排序（默认是随机序的）
w = c.rolling(2).mean()  # 相邻两项求中点，作为边界点
w = w.dropna()
w = [0] + list(w[0]) + [data.max()]  # 把首末边界点加上
d3 = pd.cut(data, w, labels = range(k))

关于K-means的介绍：

2.3. Clustering — scikit-learn 1.0.2 documentation

Python学习——K-means聚类_Yummy的博客-CSDN博客_k means聚类 python

【机器学习（2）】K-means算法原理分析及python实现（附代码和数据）_记录每一次小小的进步-CSDN博客

关于reshape 的用法：Python的reshape的用法：reshape(1,-1)_冷月无声的博客-CSDN博客_reshape函数python

关于dropna：Python-pandas的dropna()方法-丢弃含空值的行、列_shangyj17的博客-CSDN博客_python删除有空值的行