版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/apollo_miracle/article/details/88795161
学习目标
- 了解数值型数据、类别型数据特点
- 应用MinMaxScaler实现对特征数据进行归一化
- 应用StandardScaler实现对特征数据进行标准化
1、什么是特征预处理
特征预处理：通过一些转换函数将特征数据转换成更加适合算法模型的特征数据过程
可以通过上面那张图来理解
1.1 包含内容
数值型数据的无量纲化：
- 归一化
- 标准化
1.2 特征预处理API
sklearn.preprocessing
为什么我们要进行归一化/标准化？
- 特征的单位或者大小相差较大，或者某特征的方差相比其他的特征要大出几个数量级，容易影响（支配）目标结果，使得一些算法无法学习到其它的特征
约会对象数据
我们需要用到一些方法进行无量纲化，使不同规格的数据转换到同一规格
2 归一化
2.1 定义
通过对原始数据进行变换把数据映射到(默认为[0,1])之间
2.2 公式
作用于每一列，max为一列的最大值，min为一列的最小值，那么X’’为最终结果，mx，mi分别为指定区间值默认mx为1、mi为0
那么怎么理解这个过程呢？我们通过一个例子
2.3 API
- sklearn.preprocessing.MinMaxScaler (feature_range=(0,1)… )
- MinMaxScalar.fit_transform(X)
- X：numpy array格式的数据[n_samples,n_features]
- 返回值：转换后的形状相同的array
2.4 数据计算
我们对以下数据进行运算，在dating.txt中。保存的就是之前的约会对象数据
milage,Liters,Consumtime,target
40920,8.326976,0.953952,3
14488,7.153469,1.673904,2
26052,1.441871,0.805124,1
75136,13.147394,0.428964,1
38344,1.669788,0.134296,1
分析
- 实例化MinMaxScalar
- 通过fit_transform转换
def mm():
"""
对二维数组进行归一化处理
:return:
"""
data = pd.read_csv("./dating.txt")
mm = MinMaxScaler(feature_range=(2, 3))
data = mm.fit_transform(data[['milage', 'Liters', 'Consumtime']])
print(data)
return None
问题：如果数据中异常点较多，会有什么影响？
2.5 归一化总结
注意最大值最小值是变化的，另外，最大值与最小值非常容易受异常点影响，所以这种方法鲁棒性较差，只适合传统精确小数据场景。
3 标准化
3.1 定义
通过对原始数据进行变换把数据变换到均值为0，标准差为1范围内
3.2 公式
作用于每一列，mean为平均值，σ为标准差
所以回到刚才异常点的地方，我们再来看看标准化
- 对于归一化来说：如果出现异常点，影响了最大值和最小值，那么结果显然会发生改变
- 对于标准化来说：如果出现异常点，由于具有一定数据量，少量的异常点对于平均值的影响并不大，从而方差改变较小。
3.3 API
- sklearn.preprocessing.StandardScaler( )
- 处理之后每列来说所有数据都聚集在均值0附近标准差差为1
- StandardScaler.fit_transform(X)
- X:numpy array格式的数据[n_samples,n_features]
- 返回值：转换后的形状相同的array
3.4 数据计算
同样对上面的数据进行处理
[[90,2,10,40],
[60,4,15,45],
[75,3,13,46]]
分析
- 实例化StandardScaler
- 通过fit_transform转换
def std():
"""
标准化处理
"""
data = pd.read_csv("./data/datingtest/dating.txt")
std = StandardScaler()
data = std.fit_transform(data[['milage','Liters','Consumtime']])
print(data)
return None
3.5 标准化总结
在已有样本足够多的情况下比较稳定，适合现代嘈杂大数据场景。