Das MobileNet-Netzwerk wurde 2017 vom Google-Team vorgeschlagen und konzentriert sich auf leichte CNN-Netzwerke in mobilen oder eingebetteten Geräten. Im Vergleich zum herkömmlichen Faltungs-Neuronalen Netzwerk sind die Modellparameter und der Berechnungsaufwand stark reduziert, während die Genauigkeit leicht verringert ist. (Im Vergleich zu VGG16 ist die Genauigkeit um 0,9 % reduziert, aber die Modellparameter betragen nur 1/32 von VGG). Der größte Vorteil des MobileNet-Netzwerks ist sein geringes Gewicht, was bedeutet, dass der Berechnungsaufwand und die Anzahl der Parameter erheblich reduziert werden.
MobileNet-V1
Ursprüngliche Adresse: https://arxiv.org/abs/1704.04861
Innovation: tiefentrennbare Faltung
In der Tiefe trennbare Faltung: Besteht aus einer 3×3-Faltung mit einem Ausgangskanal von 1 und einer 1×1-Faltung
Verwenden Sie die Relu-Aktivierungsfunktion
MobileNet-v1-Netzwerkstruktur
MobileNet-V2
Ursprüngliche Adresse: https://arxiv.org/abs/1704.04861
Innovationspunkte: Invertieren Sie den Restblock, ändern Sie einige Ebenen in lineare Aktivierungsfunktionen und ändern Sie die nichtlineare Aktivierungsfunktion von relu auf relu6 (begrenzen Sie den Eingabewert auf maximal 6, um den Genauigkeitsverlust unter float16/int8 zu reduzieren).
Invertierte Residuen-Block (Invertierte Residuen)
Alte Reststruktur: Die Struktur ist eine 1x1-Faltungsdimensionalitätsreduzierung -> 3x3-Faltungsdimensionalitätserhöhung
Invertierter Restblock: 1x1-Faltung zur Vergrößerung der Dimension -> 3x3DW-Faltung -> 1x1-Faltung zur Reduzierung der Dimension. (Es ist zu beachten, dass der kurze Additionsvorgang nur ausgeführt wird, wenn der Schritt 1 beträgt, und der kurze Additionsvorgang nicht ausgeführt wird, wenn der Schritt 2 beträgt.)
Um das Problem zu lösen, dass der Faltungskern von V1 viele Informationen verliert, wenn die Eingabe niedrigdimensional ist, wird die ursprüngliche nichtlineare Relu-Aktivierungsfunktion in einigen Schichten durch eine lineare Funktion ersetzt und die Eingabedimension erhöht, wenn die Eingabe erfolgt ist niedrigdimensional.
MobileNet-v2-Netzwerkstruktur
MobileNet-V3
Ursprüngliche Adresse: https://arxiv.org/pdf/1905.02244.pdf
Hauptinnovationspunkte: Verwenden Sie die NMS-Suche, um die optimalen Parameter des Netzwerks zu erhalten, fügen Sie den SE-Aufmerksamkeitsmechanismus neu hinzu, ändern Sie die Aktivierungsfunktion (h-swish), reduzieren Sie die Anzahl der Faltungskerne in der ersten Faltungsschicht (32->16), Vereinfachen Sie die Netzwerkstruktur des Terminals
MobileNet-v3-Netzwerkstruktur
SE-Aufmerksamkeitsmechanismus
H-wisch
Vereinfachen Sie die Netzwerkstruktur des Terminals
