机器学习——数据特征预处理

归一化以及标准化

归一化

特定:通过对原始数据进行变换把数据映射到(默认为[0,1])之间

公式:X'=(x-min)/(max-min) X''=X'*(mx-mi)+mi

注意:作用于每一列，max为一列的最大值，min为一列的最小值，那么X''为最终结果，mx，mi分别为指定区间值默认mx为1，mi为0

sklearn归一化API:sklearn.preprocessing.MinMaxScaler

MinMaxScaler(feature_range=(0,1)...)

每个特征缩放到给定范围(默认[0,1])

MinMaxScalar.fit_transform(X)

X:numpy array格式的数据[n_samples,n_features]

返回值:转换后的形状相同的array

下面代码实现:

from sklearn.preprocessing import MinMaxScaler
def mm():
    """
    归一化处理
    :return:None
    """
    mm=MinMaxScaler(feature_range=(2,3))
    data=mm.fit_transform([[90,2,10,40],[60,4,15,45],[75,3,13,46]])
    print(data)
if __name__=="__main":
    mm()

运行结果如下所示:

目的:使得一个特征对最早结果不会造成更大影响

总结:注意在特定场景下最大值最小值是变化的，另外，最大值与最小值非常容易受异常点影响，所有这种方法鲁棒性较差，只适合传统精确小数据场景。

标准化

特点:通过对原始数据进行变换把数据变换到均值为0，方差为1范围内

公式:X'=(x-mean)/C

注意:作用于每一列，mean为平均值，C为标准差

结合归一化来谈标准化

对于归一化来说:如果出现异常点，影响了最大值和最小值，那么结果显然会发生改变

对于标准化来说:如果出现异常点，由于具有一定数据量，少量的异常点对于平均值的影响并不大，从而方差改变较小。

Sklearn特征化API:skikit-learn:scikit-learn.preprocessing.StandardScaler

StandardScaler(...)

处理之后每列来说所有数据都聚集在均值0附近标准差差为1

standardScaler.fit_transform(X)

X:numpy array格式的数据[n_samples,n_features]

返回值:转换后的形状相同的array

StandardScaler.mean_

原始数据中每列特征的平均值

StandardScaler.std_

原始数据每列特征的方差

下面用代码实现:

from sklearn.preprocessing import StandardScaler
def stand():
    """
    标准化缩放
    :return:
    """
    std=StandardScaler()
    data=std.fit_transform([[1.,-1.,3.],[2.,4.,2.],[4.,6.,-1.]])
    print(data)
    return None
if __name__=="__main":
    stand()

实现结果如下所示:

标准化总结:在已有样本足够多的情况下比较稳定，适合现在嘈杂大数据场景。

数值型数据:标准缩放:

1、归一化

2、标准化

3、缺失值

类别型数据: one-hot编码

时间类型: 时间的切分

缺失值

缺失值处理方法:

1.删除：如果每列或者行数据缺失值达到一定的比例，建议放弃整行或者整列

插补:可以通过缺失值每行或者每列的平均值、中位数来填充

2、sklearn缺失值API:sklearn.preprocessing.Imputer

Imputer(missing_values='NaN',strategy='mean',axis=0)

完成缺失值插补

Imputer.fit_transform(X)

X:numpy array格式的数据[n_samples,n_features]

返回值:转换后的形状相同的array

下面用代码实现:

from sklearn.preprocessing import Imputer
import numpy as np
def im():
    """
    缺失值处理
    :return:
    """
    im=Imputer(missing_values='NaN',strategy='mean',axis=0)
    data=im.fit_transform([[1,2],[np.nan,3],[7,6]])
    print(data)
    return  None
if __name__=="__main":
    im()

运行结果如下:

Imputer流程

1.初始化Imputer，指定“缺失值",指定填补策略，指定行或列

注:缺失值也可以是别的指定要替换的值

2.调用fit_transform