Auteur : Zen et l'art de la programmation informatique
1. Introduction
Le prétraitement des données est une partie importante de la création d'un modèle d'apprentissage automatique. L’apprentissage supervisé et l’apprentissage non supervisé nécessitent un prétraitement des données pour obtenir de bons résultats. De la collecte au nettoyage en passant par la préparation des données, de nombreux outils sont généralement utilisés pour y parvenir. Cet article organisera et comparera certains outils de prétraitement de données open source, afin que les développeurs puissent utiliser ces outils plus efficacement pour améliorer les performances des modèles d'apprentissage automatique.
2. Explication des concepts et termes de base
Tout d’abord, donnons une brève introduction aux concepts et à la terminologie liés au prétraitement des données.
Ensemble de données (Ensemble de données)
Un ensemble de données est une collection de données utilisée pour entraîner un modèle d'apprentissage automatique. De manière générale, il peut inclure des fonctionnalités, des étiquettes, un ensemble de formation, un ensemble de tests, etc. Si l'ensemble de données est très volumineux, nous devrons peut-être le diviser en plusieurs sous-ensembles à des fins de formation, de validation et de test.
Transformation des données
La transformation des données (également connue sous le nom d'ingénierie de fonctionnalités, d'extraction de fonctionnalités, de sélection de fonctionnalités ou de construction de fonctionnalités) fait référence au traitement de données brutes pour former des données pouvant être utilisées pour la modélisation d'apprentissage automatique. Le processus de transformation des données peut inclure le filtrage, le découpage, la normalisation, la normalisation, la transformation des types, etc. Il existe de nombreuses méthodes de conversion de données, telles que la segmentation de texte, la vectorisation, l'extraction de caractéristiques, etc.
Ensemble de formation divisé, ensemble de validation, ensemble de test
La division de l'ensemble de formation, de l'ensemble de validation et de l'ensemble de test est une méthode courante pour évaluer l'exactitude du modèle et tester la capacité de généralisation du modèle. De manière générale, nous diviserons l'ensemble de formation en plusieurs sous-ensembles, tels que l'ensemble de formation, l'ensemble de validation et l'ensemble de test. Parmi eux, l'ensemble d'entraînement est utilisé pour entraîner le modèle, l'ensemble de vérification est utilisé pour le réglage des paramètres et la sélection des hyperparamètres, et l'ensemble de test est utilisé pour finalement évaluer les performances du modèle.