Applications d'apprentissage en profondeur :
Vision par ordinateur, traitement du langage naturel, reconnaissance vocale et autres domaines. [Il est recommandé de choisir une certaine direction, puis d'apprendre les composants de modèle associés]
Les technologies de pointe incluent les réseaux antagonistes génératifs, les mécanismes d'auto-attention, l'apprentissage intermodal, etc. [C'est la source de l'innovation du papier]
Maîtriser avant d'apprendre par défaut :
1. Configuration de l'environnement d'apprentissage en profondeur pytorch
2. Les bases de l'exécution d'un code d'apprentissage en profondeur simple
Objectifs pédagogiques : Sur la base des modèles précédents, modifiez et construisez votre propre modèle
1. Composition macro du modèle d'apprentissage en profondeur
1. Prétraitement des données
2. Modèle de conception
3. Compétences de formation
Deuxièmement, la simplification du modèle d'apprentissage en profondeur pour maîtriser les éléments de points de connaissance
1. Qu'est-ce que l'apprentissage en profondeur ?
Laissez la machine utiliser le modèle d'apprentissage en profondeur pour apprendre des connaissances, puis résolvez une certaine tâche. Par conséquent, le cœur de l'apprentissage en profondeur consiste à apprendre les composants du modèle, à apprendre à modifier et à créer des modèles.
2. Cela nous amène à la question suivante, quels sont les éléments de base du modèle d'apprentissage ? En d'autres termes, pour résoudre différentes tâches, qu'est-ce qui est le plus important du point de vue du modèle ?
Capacités des extracteurs de fonctionnalités. Surtout après la popularité de l'apprentissage en profondeur, cela est encore plus important. Parce que le plus grand avantage de l'apprentissage en profondeur est "de bout en bout", choisissez un bon extracteur de fonctionnalités, choisissez un bon extracteur de fonctionnalités, choisissez un bon extracteur de fonctionnalités, alimentez-le avec beaucoup de données d'entraînement, définissez Définissez l'objectif d'optimisation (fonction de perte), indiquez c'est ce que vous voulez qu'il fasse... Alors vous pensez que vous n'avez pas à attendre le résultat, n'est-ce pas ? Alors vous êtes la personne la plus optimiste que j'aie jamais vue dans tout l'univers... Vous passez en fait beaucoup de temps à ajuster les paramètres...
Mots-clés : bonnes données d'entraînement, extracteur de fonctionnalités, objectif d'optimisation (objectif de tâche), compétences de réglage des paramètres
Le cadre de connaissances sera élargi par les mots-clés ci-dessus :
1. Éléments de connaissance requis pour les données de formation
Prétraitement des données : le prétraitement des données est la pré-étape de la formation du modèle d'apprentissage en profondeur, qui comprend le nettoyage des données, la normalisation des données, l'amélioration des données, etc.
2. Type d'extracteur de caractéristiques [quels petits modules sont composés d'extraction de caractéristiques ? ------Petits points de connaissance impliquant la convolution, la mise en commun, le suréchantillonnage, etc.]
a. RNN
b.CNN
c.transformer [ composants clés de chatgpt, qui seront introduits plus tard ]
......
Par exemple:
Grands composants de modèle --- Couches de réseau de neurones (couches de réseau de neurones): La couche de réseau de neurones est l'un des composants essentiels du modèle d'apprentissage en profondeur, qui peut réaliser l'extraction de caractéristiques et la conversion de données. Les couches de réseau neuronal couramment utilisées comprennent les couches convolutives, les couches de regroupement, les couches entièrement connectées, etc.
Widget de modèle --- Fonctions d'activation (Activation Functions): Les fonctions d'activation sont un composant important dans une couche de réseau neuronal, qui convertit l'entrée d'un neurone en une sortie. Les fonctions d'activation couramment utilisées incluent sigmoïde, tanh, ReLU, etc.
3. Les éléments de point de connaissance de l'objectif d'optimisation [le sujet sera introduit plus tard]
Fonctions de perte : la fonction de perte est un élément important de l'entraînement du modèle d'apprentissage en profondeur, qui est utilisé pour mesurer l'erreur entre la sortie du modèle et l'étiquette réelle. Les fonctions de perte couramment utilisées incluent l'erreur quadratique moyenne (erreur quadratique moyenne), l'entropie croisée (entropie croisée), etc.
Algorithmes d'optimisation : les algorithmes d'optimisation sont utilisés pour mettre à jour les paramètres du modèle afin de minimiser la fonction de perte. Les algorithmes d'optimisation couramment utilisés incluent Stochastic Gradient Descent, Adam, etc.
4. Eléments de connaissance des compétences d'ajustement des paramètres
Techniques de régularisation : les techniques de régularisation sont utilisées pour éviter le surajustement du modèle. Les techniques de régularisation couramment utilisées incluent la régularisation L1, L2, l'abandon, etc.
Normalisation par lots : le traitement par lots est une technologie permettant d'accélérer la formation de modèles. Il peut normaliser les données d'entrée et rendre la formation de modèles plus stable.