Retour à l'histoire du développement du modèle profond Réseau d'apprentissage du catalogue classique
Précédent: articles de fond - l' histoire classique du développement du modèle du réseau d' apprentissage profond (a) la structure graphique et la structure Lenet-5 et les caractéristiques de l'histoire du modèle de développement
Suivant: articles de fond - Histoire classique du modèle Réseau d' apprentissage profond (c) structure complexe et les caractéristiques de la ZF-Net
Dans cette section, AlexNet structure complexe et les caractéristiques, la section suivante élaborer la structure ZF-Net et les caractéristiques de
Documents Adresse: IMAGEnet Classification avec Deep convolutifs Neural Networks
II. Réseau classique (réseau classique)
2. AlexNet
En 2012, la concurrence IMAGEnet, AlexNet avantage absolu sur la deuxième place de 10,9 pour cent a remporté un seul coup. On dit souvent: L'année 2012 AlexNet avéré, de l'apprentissage de la profondeur d'image, en plein essor.
(1) Réseau Description:
Dans le réseau ci-dessus, l'entrée 224x224 227x227 ~ est possible, étant donné que la première couche est un rembourrage SAME
. (2) AlexNet de nouvelles fonctionnalités:
①. Relu utilisé avec succès en tant que fonction d'activation de CNN, et vérifier son effet sur le réseau plus profond sur le sigmoïde, la résolution réussie du problème est plus profond dans le réseau sigmoïde diffus de gradient. En outre, pour accélérer la vitesse de formation, en tant que réseau formé en utilisant un procédé de descente de gradient, la fonction non linéaire de la formation non saturé plus rapidement que la fonction non linéaire de la saturation et, la fonction RELU sigmoïde est plus simple que la fonction, la valeur de fonctionnement. Bien que la fonction d'activation Relu a été proposée il y a longtemps, mais jusqu'à ce que le AlexNet de celui-ci de se développer.
②. Formation Dropout en utilisant une partie ignorée aléatoire des neurones, afin d'éviter le modèle surajustement. Bien que des documents distincts Dropout dit, mais AlexNet en pratique, par la pratique a confirmé son effet. Au cours des dernières AlexNet il est principalement couche de liaison complète utilise Dropout.
③. CNN utilisé dans la mise en commun de chevauchement maximum. Avant l'utilisation généralisée de CNN en moyenne mis en commun, AlexNet la plus grande piscine de toute utilisation, pour éviter la piscine moyenne des effets de flou. Et propose un morceaux de AlexNet de compromis plus petite que la taille du noyau de la cellule, de sorte qu'il existe un chevauchement entre la sortie de la piscine et la couche de couverture, afin d'améliorer la richesse des fonctionnalités.
④. Couche, afin de créer un mécanisme compétitif LRN (réponse locale de normalisation, de LRN) normalisée réponse partielle projetée de l'activité neuronale locale, dans lequel, en réponse à une telle valeur relativement importante devient relativement plus grand, plus petit et inhiber la rétroaction neurale yuans améliorer la capacité de généralisation du modèle.
⑤. Profondeur de formation accélérée CUDA en utilisant le réseau de convolution, en utilisant la puissance de puissance de calcul parallèle GPU, lors du traitement d'un grand nombre d'opération de matrice de formation de réseau de neurones. Les auteurs AlexNet répartis sur deux GPU, les paramètres sont stockés dans la mémoire GPU pour chaque moitié des neurones
⑥. Amélioration des données
l'amélioration des données augmente considérablement la quantité de données. S'il n'y a aucune amélioration des données, en se fondant sur le montant initial des données, le nombre de paramètres CNN va tomber à travers la mise en place, l'utilisation de la mise en valeur des données peut réduire considérablement le surajustement, améliorer la capacité de généralisation. Lorsque la prédiction, est appliqué intermédiaire des quatre coins de l'image prise d'un total de cinq positions, et à gauche-droite inversé, a reçu un total de 10 images, et ils sont structure prédite moyenne 10 fois.
Retour à l'histoire du développement du modèle profond Réseau d'apprentissage du catalogue classique
Précédent: articles de fond - l' histoire classique du développement du modèle du réseau d' apprentissage profond (a) la structure graphique et la structure Lenet-5 et les caractéristiques de l'histoire du modèle de développement
Suivant: articles de fond - Histoire classique du modèle Réseau d' apprentissage profond (c) structure complexe et les caractéristiques de la ZF-Net
