[Introducción a la inteligencia artificial] Utilice Python para normalizar datos

[Introducción a la inteligencia artificial] Utilice Python para normalizar datos

---

1. La importancia del procesamiento de normalización de datos.

• Los conjuntos de datos de múltiples características a menudo encuentran tales problemas. Los rangos de valores de diferentes características a menudo son muy diferentes e incluso hay diferencias en órdenes de magnitud. Esto probablemente conducirá a una reducción en la precisión del algoritmo de aprendizaje profundo, por lo que data Tiene sentido realizar la normalización.

2. Métodos de normalización comunes

2.1 Normalización mín.-máx.

• Ejemplo: $$X^{{}^{\prime }}=\frac{X-mín(x}{máximox\left(x\right)-mezclarx\left(x\right)}$$
• Este es un método de mapeo lineal que mapea linealmente los datos originales al rango de [0 1], donde X son los datos originales;
• Es más adecuado para situaciones en las que los valores numéricos están relativamente concentrados;
• Desventaja: si el máximo y el mínimo son inestables, es fácil hacer que el resultado de la normalización sea inestable;

2.2 normalización de puntuación z

• Ejemplo: $$X^{\ast }=\frac{X-}{pag}$$Entre ellos, μ y σ son la media y la varianza de los datos originales, respectivamente.
• Normalice los datos originales a datos con media 0 y varianza 1;
• Este método requiere que la distribución de los datos originales sea aproximadamente gaussiana; de lo contrario, el efecto de normalización será muy malo.

3. Utilice sklearn para lograr la normalización.

• Crear datos de prueba

# 创建数据
import pandas as pd

import numpy as np

x=np.random.randint(1,1000,(10000,5))

x=pd.DataFrame(x)

print(x)

• Ver la media y la varianza de los datos originales.

# 查看原始数据的均值、方差

print("原始数据均值")
display(x.mean())
print("原始数据方差")
display(x.var())

• Normalización mín-máx

# 最大最小标准化（Min-Max Normalization）

from sklearn.preprocessing import MinMaxScaler

x_min=MinMaxScaler().fit_transform(x)

x_min=pd.DataFrame(x_min)

display(x_min.mean())

display(x_min.var())

• normalización de puntuación z

# z-score 标准化

from sklearn.preprocessing import StandardScaler

x_std=StandardScaler().fit_transform(x)

x_std=pd.DataFrame(x_std)

display(x_std.mean())

display(x_std.var())