Volver al profundo Red de Aprendizaje historia de desarrollo del modelo de catálogo clásico
Anterior: artículos de fondo - Historia clásica de modelo profundo Red de Aprendizaje (cinco) estructura GoogleNet elaborado y características (incluyendo v1, v2, v3)
Siguiente: artículos de fondo - modelo clásico de la historia de Deep Red de Aprendizaje (siete) elaborar Inception-ResNet estructura y características
En esta sección, ResNet estructura y características elaborado, la estructura y características elaborada siguiente sección Inception-ResNet
Papel Dirección: "En el fondo residual de aprendizaje para el reconocimiento de imagen"
II. Clásica red (Red Classic)
6. grave
ResNet lanzado por el Ho Kai Ming en 2015, se extendió a todos los jugadores en ISLVRC y Coco, ganó el campeonato. ResNet en la estructura de la red se ha convertido en una gran innovación, en lugar de simplemente la acumulación de capas, sino por la acumulación de residuos módulo de red neuronal hecha de convolución.
(1). Con la profundización de la red, ha habido conjunto de entrenamiento tasa de precisión de fenómeno descenso, que no se debe a un exceso de ajuste causado, pero debido a la jerarquía de la red profunda, cuando el gradiente de retropropagación debido a la difusión. ResNet idea central consiste en introducir una denominada "identidad conexión rápida" (Identidad acceso directo de conexión), omita una o más capas.
. (2) ResNet Neural Network Graphics en la que:
Algunas estructuras aumentarán ② o ④ capa detrás de un núcleo de convolución para cambiar el número de canales, de tal manera que
las
dimensiones son las mismas.
(3). ResNet castañas
(4). ResNet Case modelo
(5). ResNet características
①. Una red de aprendizaje profundidad tiene una gran influencia sobre el efecto de la clasificación final y la identificación, por lo que la idea normal es ser capaz de diseño de red más profundo es el mejor. Pero en realidad no es el caso. red convencional en la red de altas apuestas, el efecto es cada vez peor. Una razón para esto es: la más profunda de la red, la más evidente el fenómeno de la desaparición del gradiente, efecto del entrenamiento de la red no será muy buena. En la red superficial no puede mejorar significativamente el rendimiento del reconocimiento de la red, la red debe tener en cuenta cómo profundizar el gradiente y no va a desaparecer.
. ② ResNet inspiración inicial de:
Cuando la profundización de la red neural, habrá una degradación problema (degradación), que la tasa de precisión subirá primero, a continuación, alcanzar la saturación, y luego continuó para aumentar la profundidad dará lugar a una precisión disminuida. Esto no es un problema de exceso de montaje, ya que no sólo aumentará la tasa de error en la prueba, la formación se fijó los aumentos de las tasas de error. Supongamos que hay una exactitud relativamente poco profunda alcanza la saturación de la red, a continuación, la parte trasera además de unos cuantos capa de asignación congruentes, al menos, el error no va a aumentar, es decir, más profunda es la red no debe traer aumento en el error de conjunto de entrenamiento. El uso de la cartografía congruentes menciona aquí directamente a la salida de la capa anterior a la idea detrás es la fuente de inspiración de ResNet.
③. Suponiendo que la entrada es una red neural cierta salida deseada es una
, si la entrada pasa directamente a la salida como el resultado inicial, el objetivo es aprender este tiempo
. ResNet es equivalente a cambiar los objetivos de aprendizaje, el aprendizaje ya no es una salida completa
, pero la diferencia entre la entrada y la salida de
ese residual. La función original de la necesidad de aprender
convertido
. La conexión residual del bloque de acceso directo de conseguirse, por Element-sabia en un superpuesta por las entradas y salidas de este acceso directo a bloque, la adición simple no da adicional parámetros de red y de cálculo, pero al mismo tiempo puede aumentar enormemente Modelo entrenamiento de la velocidad, mejorar el efecto del entrenamiento, y cuando las capas más profundas del modelo, esta estructura simple puede ser una buena solución al problema de la degradación de la red.
④. ResNet permite que la información de entrada original directamente a la capa posterior.
⑤. ResNet red residual se construyó módulo. ResNet por un número que es un módulo residual apilados juntos para formar una profundidad de la red neural.
⑥ mayores redes neuronales diferencia de convolución y ResNet ordinaria conectados directamente:
Hay muchos de derivación ResNet capa de entrada rama está conectada directamente a la parte posterior, de modo que la capa posterior puede aprender directamente residuales.
⑦. Rechazar entrenar una red neuronal con un método de gradiente, si no hay residuos se encuentran como la profundización de la red, después de que se reduce el error de entrenamiento para aumentar, aunque teóricamente la formación de error tan pequeño como sea posible. Para la red residual, el número de capas aumenta, la formación de error es cada vez más y más pequeños, este enfoque permite a la red para llegar a una capa más profunda, la ayuda gradiente de profundidad a resolver el problema de la desaparición de la red, por lo que la formación sólo se puede lograr una más profunda redes, garantizando al mismo tiempo un buen rendimiento.
⑧. Capa convolucional convencional o capas totalmente conectada en el momento se transmite la información, habrá más o menos la pérdida de información, la pérdida se suprime. ResNet en una manera de resolver este problema, la realización de un desvío de salida por la introducción de información directa, para proteger la integridad de la información, toda la red es la parte de la entrada de aprendizaje, diferencia de salida de objetivos de aprendizaje acaba de simplificar y dimensiones.
⑨. Papel En ResNet, además de dos unidades de aprendizaje residual propuesto, también propuso una unidad de aprendizaje residual de tres niveles.
Volver al profundo Red de Aprendizaje historia de desarrollo del modelo de catálogo clásico
Anterior: artículos de fondo - Historia clásica de modelo profundo Red de Aprendizaje (cinco) estructura GoogleNet elaborado y características (incluyendo v1, v2, v3)
Siguiente: artículos de fondo - modelo clásico de la historia de Deep Red de Aprendizaje (siete) elaborar Inception-ResNet estructura y características
