Autor: Zen y el arte de la programación informática
1. Introducción
El preprocesamiento de datos es una parte importante de la construcción de un modelo de aprendizaje automático. Tanto el aprendizaje supervisado como el no supervisado requieren un preprocesamiento de datos para obtener buenos resultados. Desde la recopilación hasta la limpieza y la preparación de datos, generalmente se utilizan muchas herramientas para completar esto. Este artículo organizará y comparará algunas herramientas de preprocesamiento de datos de código abierto para que los desarrolladores puedan usar estas herramientas de manera más efectiva para mejorar el rendimiento de los modelos de aprendizaje automático.
2. Explicación de conceptos y términos básicos
Primero, demos una breve introducción a los conceptos y la terminología relacionados con el preprocesamiento de datos.
Conjunto de datos (conjunto de datos)
Un conjunto de datos es una colección de datos que se utiliza para entrenar un modelo de aprendizaje automático. En términos generales, puede incluir funciones, etiquetas, conjuntos de entrenamiento, conjuntos de pruebas, etc. Si el conjunto de datos es muy grande, es posible que debamos dividirlo en varios subconjuntos para entrenamiento, validación y prueba.
Transformación de datos
La transformación de datos (también conocida como ingeniería de características, extracción de características, selección de características o construcción de características) se refiere al procesamiento de datos sin procesar para formar datos que pueden usarse para el modelado de aprendizaje automático. El proceso de transformación de datos puede incluir filtrado, recorte, normalización, normalización, transformación de tipos, etc. Existen muchos métodos de conversión de datos, como segmentación de texto, vectorización, extracción de características, etc.
Conjunto de entrenamiento dividido, conjunto de validación, conjunto de prueba
Dividir el conjunto de entrenamiento, el conjunto de validación y el conjunto de prueba es un método común para evaluar la precisión del modelo y probar la capacidad de generalización del modelo. En términos generales, dividiremos el conjunto de entrenamiento en más subconjuntos, como conjunto de entrenamiento, conjunto de validación y conjunto de prueba. Entre ellos, el conjunto de entrenamiento se usa para entrenar el modelo, el conjunto de verificación se usa para el ajuste de parámetros y la selección de hiperparámetros, y el conjunto de prueba se usa para finalmente evaluar el rendimiento del modelo.