Ingeniería de funciones: normalización y estandarización

Debido a las diferentes fuentes y unidades de medida de las características de la muestra, sus escalas (Escala) o el rango de valores pueden variar mucho. Si un algoritmo de aprendizaje automático no afecta su aprendizaje y predicción después de escalar todas o parte de las funciones, decimos que el algoritmo tiene invariancia de escala (Scale Invariance). Teóricamente, la red neuronal debería tener invariancia de escala y puede adaptarse a la escala de diferentes características ajustando los parámetros. Sin embargo, las características de entrada con diferentes escalas aumentarán la dificultad del entrenamiento. ¹

1/ Normalización mínima y máxima

El método de normalización generalmente se refiere al método de convertir características de datos a la misma escala. Min -Max Normalization (Normalización Min-Max) es el método de normalización más simple, que normaliza el rango de valores de cada característica a $[0,1]$ o$[-1,1]$ Si los datos de muestra$\{x^{\left(n\right)}{\}}_{norte=1}^{}$, min y max normalizados a $[0,1]$ fórmula:
$${\hat{X}}^{\left(n\right)}=\frac{X^{\left(n\right)}-\min (X^{\left(n\right)}}{{\mathrm{máximo}}_{}\left(X^{\left(norte\right)}\right)-{\min }_{}\left(X^{\left(norte\right)}\right)},$$
el mínimo y el máximo se normalizan a$[-1,1]$ , primero puede normalizar los datos a$[0,1]$ , y luego panorámica y zoom:
$${\hat{X}}^{\left(n\right)}=\frac{}{{\text{máximo}}_{}\left(X^{\left(norte\right)}\right)-{\text{min}}_{}\left(X^{\left(norte\right)}\right)}\left(X^{\left(n\right)}-{\text{min}}_{}\left(X^{\left(norte\right)}\right)\right)-1,$$

Por lo tanto, normalice los datos a un cierto rango $[r_{},r_{}]$ está codificado como:

import torch
import numpy as np
from sklearn import preprocessing
np.random.seed(9) # 设置随机种子为 9

def min_max_norm(X, feature_range=(0, 1)):
    r1, r2 = feature_range  # 将数据归一化到 [r1, r2] 之间
    xmin, xmax = X.min(axis=0), X.max(axis=0) # 得到数据的最大最小值
    X_std = (X - xmin) / (xmax - xmin)     # 标准化到 [0, 1]
    X_scaled = X_std * (r2 - r1) + r1      # 数据平移缩放到 [r1, r2]
    return X_scaled

Comparar con sklearn.preprocessingen :MinMaxScaler()

sample_size = 5
X = np.random.randn(sample_size) * 255
X = X.reshape(-1, 1)
min_max_norm(X, feature_range=(0, 1))    # 数据归一化到 [0, 1] 之间
preprocessing.MinMaxScaler(feature_range=(0, 1)).fit_transform(X.reshape(-1, 1))
# array([1.        , 0.73983247, 0.        , 0.98747617, 0.66033068])

min_max_norm(X, feature_range=(-1, 1))   # 数据归一化到 [-1, 1] 之间
preprocessing.MinMaxScaler(feature_range=(-1, 1)).fit_transform(X.reshape(-1, 1))
# array([ 1.        ,  0.47966494, -1.        ,  0.97495233,  0.32066137])

# 两种方法得到的结果是一样的

2/ Estandarización

La estandarización (Standardization) también se llama Normalización de puntaje Z (Z-Score Normalization) Su función es ajustar cada característica de dimensión para tener una media de 0 y una varianza de 1. Primero calcule la media y la varianza: μ = 1
$$\begin{array}{rl}metro& =\frac{}{norte}\sum _{norte=1}{X}^{\left(n\right)}\\ {pag}^{}& =\frac{}{norte}\sum _{norte=1}{\left(X^{\left(n\right)}-m\right)}^{}\end{array}$$
Luego característica $X^{\left(n\right)}$ Resta la media y divide por la desviación estándar para obtener el nuevo valor propio${\hat{X}}^{\left(norte\right)}$ :
$${\hat{X}}^{\left(n\right)}=\frac{X^{\left(n\right)}-}{pag}$$
Desviación estándar $\sigma$ no puede ser cero, de lo contrario significa que las características de esta dimensión no son distinguibles y se pueden eliminar directamente.

Código estandarizado:

def z_score_norm(X):
    mu = X.mean()   # 计算数据的均值
    sigma = X.std() # 计算数据的标准差（方差的平方根）
    return (X - mu) / sigma

z_score_norm(X)
preprocessing.StandardScaler().fit_transform(X)
# array([ 0.88537948,  0.17106352, -1.86022047,  0.85099404, -0.04721657])

3/ El papel de la normalización y estandarización ²

La esencia de la normalización y la estandarización es en realidad una transformación lineal, es decir, se puede considerar como una relación de $Compresión\; de\; \alpha$ y luego traducción de$unidades\; \beta$ . Una buena propiedad que tienen los cambios lineales es que no cambian el orden numérico de los datos originales.

La normalización consiste en escalar directamente los datos en un intervalo, que es relativamente "difícil", y solo está relacionado con los valores máximo y mínimo de los datos. La estandarización es más "suave", y su escala está relacionada con cada punto, lo que se refleja en la Varianza.

De la fórmula, cuando los datos están concentrados, $\alpha$ es más pequeño, los datos están más dispersos después de la normalización y los datos originales están ampliamente distribuidos, entonces$Si\; \alpha$ es relativamente grande, los datos se concentrarán en un rango más pequeño después de la normalización.

Entonces, ¿cuándo usar la normalización y cuándo usar la estandarización?

• Si existe un requisito para el rango de resultados de salida, utilice la normalización;
• Los datos son relativamente estables, no hay valores máximos y mínimos extremos, y se utiliza la normalización;
• Hay valores atípicos o demasiado ruido en los datos, use la estandarización;

Por supuesto, no hay un indicador claro para usar la normalización y la estandarización. Puede probar ambos métodos y elegir el que funcione mejor.

---

1. Qiu Xipeng: "Red neuronal y aprendizaje profundo" ; ↩︎

2. Conozca la respuesta: ¿Cuál es el papel de la "normalización" en la ingeniería de características? — ajuste fino ; ↩︎