Preprocessing data数据预处理

Standardization,or mean removal and variance scaling

from sklearn import preprocessing

import numpy as np

X = np.array([[ 1., -1.,  2.],

              [ 2.,  0.,  0.],

              [ 0.,  1., -1.]])

X_scaled = preprocessing.scale(X)

[[ 0.         -1.22474487  1.33630621]  [ 1.22474487  0.         -0.26726124]  [-1.22474487  1.22474487 -1.06904497]]

print(X_scaled.mean(axis=0)) #均值为0

print(X_scaled.std(axis=0)) #标准差为1

[ 0.  0.  0.] [ 1.  1.  1.]

使用StandardScaler使标准化应用在测试集上：保存标准化参数

一般我们的标准化现在训练集上进行，在测试集上也应该做同样mean和variance的标准化，这样就应该将训练集上的标准化参数保存下来

scaler = prepeocessing.StandardScaler().fit(X)

print(scaler)

print(scaler.mean_)

print(scaler.scale_)

StandardScaler(copy=True, with_mean=True, with_std=True) [ 1.          0.          0.33333333] [ 0.81649658  0.81649658  1.24721913]

scale_X=scaler.transform(X)

print(scale_X)

[[ 0.         -1.22474487  1.33630621]  [ 1.22474487  0.         -0.26726124]  [-1.22474487  1.22474487 -1.06904497]]

The scaler instance can then be used on new data to transform it the same way it did on the training set

print(scaler.transform([[-1.,  1., 0.]]))

[[-2.44948974  1.22474487 -0.26726124]]

Scaling features to a range（将特征的取值缩小到一个范围，如0到1）

目的：

对于方差非常小的属性可以增强稳定性

维持稀疏矩阵中为0的条目

X_train = np.array([[ 1., -1.,  2.],

                    [ 2.,  0.,  0.],

                    [ 0.,  1., -1.]])

min_max_scaler = preprocessing.MinMaxScaler()

X_train_minmax = min_max_scaler.fit_transform(X_train)

print(X_train_minmax)

[[ 0.5         0.          1.        ]  [ 1.          0.5         0.33333333]  [ 0.          1.          0.        ]]

有大量异常值的归一化

sklearn.preprocessing.robust_scale()

Normalization

正则化的过程是将每个样本缩放发哦单位范数（每个样本的范数为1），如果要使用如二次型（点积）或者其他核方法计算两个样本之间的相似性，这个方法会很有用

该方法是文本分类和聚类分析中经常使用的向量空间模型（Vector Space Model）的基础

axis=0，表明在列方向上进行处理；axis=1，表明在行方向上进行处理

X = [[ 1., -1.,  2.],

      [ 2.,  0.,  0.],

      [ 0.,  1., -1.]]

X_normalized = preprocessing.normalize(X,norm='l2') #axis默认为1

[[ 0.40..., -0.40...,  0.81...],  [ 1.  ...,  0.  ...,  0.  ...],  [ 0.  ...,  0.70..., -0.70...]]

Binarization二值化

特征的二值化主要是为了将数据特征转变成boolean变量

from sklearn.preprocessing import Binarizer

binarizer = preprocessing.Binarizer(threshold=0.0).fit(X)

print(Binarizer())

print(binarizer.transform(X))

Binarizer(copy=True, threshold=0.0) [[ 1.  0.  1.]  [ 1.  0.  0.]  [ 0.  1.  0.]]

缺失值处理Imputation of missing values

由于不同的原因，许多现实中的数据集都包含缺失值，不能用分类器直接训练，所以需要进行处理。

import numpy as np

from sklearn.preprocessing import Imputer

imp = Imputer(missing_values='NaN', strategy='mean', axis=0)

imp.fit([[1, 2], [np.nan, 3], [7, 6]])

X = [[np.nan, 2], [6, np.nan], [7, 6]]

print(imp.transform(X))

[[ 4.          2.        ]  [ 6.          3.66666667]  [ 7.          6.        ]]