Volver al profundo Red de Aprendizaje historia de desarrollo del modelo de catálogo clásico
Anterior: artículos de fondo - Historia clásica de modelo profundo Red de Aprendizaje (seis) elaborada estructura y las características de ResNet
Siguiente: artículos de fondo - clásica historia de profunda red de aprendizaje modelo (ocho) elaborada estructura y cuenta con DenseNet
En esta sección, elaborada estructura Inception-ResNet y características, la estructura elaborada siguiente sección y características DenseNet
论文地址: Inception-v4, Inception-ResNet y el impacto de las conexiones residuales en el aprendizaje
II. Clásica red (Red Classic)
7. Inception-ResNet
(1). Inception-ResNet caracteriza Neural Network Gráficos
(2) bloque .Inception-v4, bloque Inception-v4 y el bloque Inception-ResNet, así como su estructura de red
Inception-v4, Inception-ResNet-v1 y Inception-ResNet-v2 entre ellos, similar a la estructura de la red en general, pero de bloque forman una estructura de red fue diferente. Así que pensar en ello, más fácil de entender la estructura de la red.
(3). Desde el lanzamiento-ResNet características:
①. En Inception-ResNet en el principal Inception-ResNet V1 y Inception-ResNet V2. Inception-ResNet V1-V3 Inception sea ResNet transformación correspondiente. Inception-ResNet V2 correspondiente Inception-V4 eran transformación ResNet.
②. Los autores encontraron que el número de más de 1000 si el filtro, la red residual se vuelve inestable, la red "morirá" en la formación temprana, lo que significa que después de decenas de miles de iteraciones, la puesta en común promedio antes Por último, varias capas de parámetros de red son todos cero. La solución es reducir ya sea la tasa de aprendizaje, o añadir BN estas capas adicionales (si BN no se puede guardar, a continuación, utilizar la siguiente escala a un recurso). Los autores también encontraron que, si la porción residual del zoom antes de añadir con necesidades añadir capas a hacer la red más estable en el proceso de formación. Así, un número de factor de escala seleccionado entre 0,1 y 0,3, con el factor de escala para escalar la red residual, y luego hacer un sumador. Utilizar el factor de zoom no es estrictamente necesario, no hace daño a la red, la red ayudará a capacitar a más estable.
③. Comparar Red
Los datos proporcionados en el documento se puede ver Inception-V4 y Inception-ResNet V2 de la diferencia no es grande, pero es mejor que Inception-V3 y V1 Inception-ResNet mucho mejor
a. En comparación Inception-ResNet V1 y V3 Inception-de, Inception-V1 ResNet Aunque la formación es más rápido, pero el resultado final que el Inception-V3 un poco peor
b. En comparación Inception-ResNet V2 y el inicio-V4, V2 Inception-ResNet más rápido el entrenamiento, menos capas, pero un poco mejores resultados que Inception-V4. Así que al final es ganar Inception-ResNet V2.
Volver al profundo Red de Aprendizaje historia de desarrollo del modelo de catálogo clásico
Anterior: artículos de fondo - Historia clásica de modelo profundo Red de Aprendizaje (seis) elaborada estructura y las características de ResNet
Siguiente: artículos de fondo - clásica historia de profunda red de aprendizaje modelo (ocho) elaborada estructura y cuenta con DenseNet
