- Avant - propos :…
-
table des matières
0 Plus de détails: HomeLink
1 MobileNet-V1
1.1 Conv. En profondeur
- Opération de convolution traditionnelle VS l'opération de convolution mentionnée dans l'article.
Cette partie est encore assez importante. La quantité de calcul de la convolution en profondeur est beaucoup plus petite que la convoulution traditionnelle.
- Par exemple, prenons un exemple simple
- Trouvé, dans des circonstances normales, par rapport au calcul de convolution standard, la quantité de calcul est réduite de 8 à 9 fois, mais il n'y a qu'une perte de précision de 1%.
- En général, Structure-Macro ressemble à ceci:
Comment le dessiner? Utilisez le fichier réseau caffe .prototx, copiez directement sur le netscope, dessinez le modèle caffe en ligne, une fois la copie terminée, shift + enter peut voir la structure du réseau Up .
1.2 Hyperparamètres
- Les deux points ci-dessus ont fortement estimé qu'ils étaient de peu d'importance, et ont même pensé qu'ils étaient utilisés pour la thèse.
1.3 Formation - Quelques détails
- RMSprop Je n'ai pas lu ceci, je ne comprends pas
Moins de régularisation et d'augmentation des données étant donné que les petits modèles ont moins de problèmes de surajustement L'ensemble de données n'est pas trop compliqué
Très peu ou pas de décroissance de poids (régularisation l2) sur les filtres en profondeur car il y en a si peu paramètres en eux.
Voici un exemple, MobileNet + SSD en
bref, l'important est 1.1 là
2 MobileNet-V2
2.1 Résidus inversés et goulots d'étranglement linéaires
La principale contribution de la version de la grille papier de haute forcé:
Inverted + Residuals linéaire Goulets d' étranglement
version en mandarin: certainement augmenter le nombre de canaux au milieu de chaque couche pour augmenter le nombre de paramètres, puis se rétractent avant la couche suivante ...
Première impression: très peu de paramètres, très minces Blobs
torture mentale: alors comment pourrait-il être mieux?
Résidu d'origine: réduire-transférer-étendre
Goulots d'étranglement d'origine: Eltwise + avec ReLU à la fin d'un goulot
Résidu inversé: expansion-transfert - réduire les
goulots d'étranglement linéaires : Eltwise + avec NO ReLU à la fin d'une
explication de qualité de goulot d'étranglement :
Résiduels inversés: La fonction est de décompresser les données, de sorte que la variété de faible dimension d'intérêt qui nous intéresse puisse être incluse dans notre espace de haute dimension.
Goulots d'étranglement linéaires: on pense que les réseaux neuronaux sont capables d'intégrer des MOI dans des espaces de faible dimension. Si le MOI de l'espace d'activation actuel est relativement complet, ReLU réduira l'espace et perdra des informations; et sa partie non nulle est une transformation linéaire, qui est en fait un classificateur linéaire. Par conséquent, le
collecteur de goulot d'étranglement linéaire est utilisé: Collecteur - un espace avec des propriétés spatiales européennes locales -
Interprétation en mandarin:
Résiduels inversés: Ignorer la connexion Cette structure de goulot d'étranglement s'est avérée très efficace, je veux donc l'utiliser; mais si le canal est d'abord compressé comme auparavant, le nombre de canaux est déjà petit puis compressé, il vaut donc mieux augmenter et puis diminuez.
Goulots d'étranglement linéaires: ReLU rend le demi-axe négatif 0. À l'origine, je n'avais pas beaucoup de paramètres et ma capacité d'apprentissage était limitée. Maintenant que j'ai mis certains paramètres à 0, je ne peux rien apprendre. Ne vous contentez pas de ReLU dans eltwise +.
Structure: Stride = 1 bloc est différent de Stride = 2 block, hein.
2.2 Effet
En d'autres termes, V2 est meilleur, plus rapide et a moins de paramètres
3 Résumé
V1 conv V2 如何 加速 的 总结 额 Opération de conv.
MobileNet-V1-Accelerate
: Séparez principalement la conv traditionnelle en 2 étapes: Depthwise + Pointwise
MobileNet-V2-Ajoutez des paramètres plus utiles : Résidu
inversé: développer - transférer - réduire
+
Goulot d'étranglement linéaire: supprimer ReLU après Eltwise +