机器学习第三周打卡：归一化+KD树+特征预处理

归一化

因为在进行计算距离的时候，会存在量纲的问题，所以要对数据进行归一化的处理，保证计算距离的时候不会因为量纲问题，导致距离结果出非常大的偏差。
有两种方法，一种是最值归一化(x-u)/(max(x)-min(x)），将数据落在0-1区间内，但是这种方法非常容易受到极值的影响，导致可能分布不均匀。另一种算法是均值方差归一化(x-u)/s，我的理解是与均值的偏差值落在方差的区域，适用于有极值的情况。

from sklearn.preprocessing import StandardScaler
standardScaler = StandardScaler()
# 归一化的过程跟训练模型一样
standardScaler.fit(X_train)
standardScaler.mean_
standardScaler.scale_   # 表述数据分布范围的变量，替代std_

# 使用transform
X_train_standard = standardScaler.transform(X_train)
X_test_standard = standardScaler.transform(X_test)

KD树

因为KNN算法中，要计算一个点到每个点的距离，时间复杂度非常高。所以在查询的过程中，选择采用Kd树进行拆分查询，提高效率。
方法可以堪称二维及多维平面内，进行二分法，存储成树形结构数据。

import numpy as np
from matplotlib import pyplot as plt
from matplotlib.patches import Circle
from sklearn.neighbors import KDTree
np.random.seed(0)
points = np.random.random((100, 2))
tree = KDTree(points)
point = points[0]
# kNN
dists, indices = tree.query([point], k=3)
print(dists, indices)
# query radius
indices = tree.query_radius([point], r=0.2)
print(indices)
fig = plt.figure()
ax = fig.add_subplot(111, aspect='equal')
ax.add_patch(Circle(point, 0.2, color='r', fill=False))
X, Y = [p[0] for p in points], [p[1] for p in points]
plt.scatter(X, Y)
plt.scatter([point[0]], [point[1]], c='r')
plt.show()

特征预处理

特征工程步骤分为：特征预处理、特征提取、特征选择、特征构造等多个子问题。

特征预处理：
1、将数据归一化和标准化，消除量纲引起的误差。
归一化是将值取在0-1范围内，标准化是将符合正态分布的数据处理成标准正态分布。

2、将数据进行分箱
将数值型做成类别性数据。
分箱方法有：自定义分享，等距分箱、聚类分箱、等频分箱、二值法。