Volver al profundo Red de Aprendizaje historia de desarrollo del modelo de catálogo clásico
Anterior: artículos de fondo - Historia clásica de modelo profundo Red de Aprendizaje (siete) elaboran Inception-ResNet estructura y características
Siguiente: artículos de fondo - profundamente el aprendizaje de la historia del desarrollo clásico modelo de red (nueve) la elaboración de la estructura y las características de cada modelo y con precisión red oscura
En esta sección, DenseNet elaborada estructura y características, la siguiente sección red oscura elaborada estructura y las características de los modelos y la precisión
Papeles Dirección: Redes convolucionales mejor conectada
II. Clásica red (Red Classic)
8. DenseNet
DenseNet es CVPR 2017 al mejor artículo. DenseNet (Dense convolucional de red) de papel presenta principalmente ResNet y Origen de la red y hacer la comparación, ideológicamente aprender, pero es una estructura nueva, la estructura de la red no es complicado, pero muy eficaz, más allá de ResNet en el índice de CIFAR. Se puede decir DenseNet ResNet absorbe la parte más esencial, y hacer esto en un trabajo más innovador, por lo que el rendimiento de la red se mejora aún más.
. (1) en comparación con ResNet, DenseNet propuesto un mecanismo de conexión más intensivo radical: que todas las capas están conectados el uno al otro, específicamente, es que cada capa de la aceptará delante de todas las capas como entrada adicional. En DenseNet, los canales de conexión son de dimensiones para cada capa y todas las capas de la parte frontal (concatenación) juntos (en tamaño debe haber seguridad mapa de características de las capas individuales es el mismo), como la capa de entrada. Para una capa de red, DenseNet contiene
conexiones. Además, la figura DenseNet directamente característica concatenación de diferentes capas, que se pueden conseguir reutilización características, mejorar la eficiencia, y esta característica es DenseNet ResNet diferencia principal.
(2) en el que DenseNet Neural Network Graphics (Dense Block) .:
(3) En DenseNet en la figura tamaño de la característica consistente de cada capa, concat arriba en los canales. Dense bloque no lineal de combinación de funciones se utiliza en
una configuración. Además, es de destacar que, con diferente ResNet, todo Dense bloque de salida uniforme después de convolución de las capas individuales
de un mapa de características, es decir, el número de canales característica se obtiene un mapa
, o el uso de
un núcleo de convolución.
Llamado la tasa de crecimiento en DenseNet en, es un parámetro de super. En general, el uso de más pequeño
(por ejemplo, 12), un mejor rendimiento se puede obtener. Introducir el número de canales añadidos capa de mapa de características es
, a fin de aumentar el número de capas, a pesar de
el establecimiento de un más pequeño, pero la entrada Dense bloque será mucho, pero esto es debido a las características causadas por la reutilización, cada capa sólo se
disponen de su propio único.
(4) Dado que la siguiente entrada será muy grande, la capa interna densa de bloques pueden ser empleados para reducir la computacional cuello de botella, que es aumentar configuración original 1 x 1 conv. El: se refiere DenseNet-B
En donde obtener
una función del mapa del papel es el de reducir el número de características, a fin de aumentar la eficiencia computacional.
(5) En la red CNN, típicamente usando la agrupación o pasos> conv 1 para reducir el tamaño del mapa de características, y DenseNet conexión requiere tamaño del mapa característica constante intensiva. Para resolver el problema DenseNet reducir el tamaño del mapa característica, en la estructura de red DenseNet Dense Bloquear + transición en la que muchas capas densas Block es un módulo que comprende un tamaño de mapa de características consistentes de cada capa, una conexión densa entre las capas. módulo de transición y conexión de dos Dense bloque adyacente, y por la puesta en común mapa función de reducción de tamaño de decisiones.
(6) Para la capa de transición, que está conectado principalmente a dos Dense bloque adyacente, y reducir el tamaño del tamaño del mapa de características. capa de transición que comprende una y
estructura:
. Además, la capa de transición puede funcionar como un módulo de compresión. capa de transición se supone que se obtiene el mapa de características contacto denso bloque de canales
, la capa de transición puede generar
característica (mediante la convolución de la capa
,
la tasa de compresión factor de compresión). Cuando
, el número de característica no cambia después de capa de transición, es decir, sin comprimir, cuando el factor de compresión es menor que 1, una estructura de este tipo se llama DenseNet-C. Para la estructura densa capa de bloques de cuellos de botella y un factor de compresión de la estructura combinada de menos de 1 de transición se refiere DenseNet-BC.
. (7) DenseNet estructura de la red:
(8). ventajas DenseNet:
①. Dado que las conexiones densos, DenseNet mejorar el gradiente de propagación hacia atrás, por lo que la red de formación más fácil. Dado que cada señal de error puede dirigir la implícita "de profundidad supervisión" final, se dio cuenta, para aliviar desaparece el fenómeno de gradiente, por lo que la red puede llegar más profundo.
②. Estrecha red, un menor número de parámetros, y computacionalmente más eficiente.
③. Función de concatenación se consigue utilizando cortocircuitado-para conseguir las características reutilización, y con una tasa de crecimiento menor, único para cada capa de mapa de características es relativamente pequeño.
④. Desde la reutilización característica, uso más eficiente de la función, el clasificador final utiliza características de bajo nivel.
. (9) DenseNet desventajas:
①. DenseNet durante la formación de memoria se consume, no es preferible debido a que el algoritmo trae.
②. Marco aprendizaje profundidad actual no está bien soportado conexión DenseNet densa, es sólo por medio de empalme repetida (concatenación) operación, con la corriente de salida y la capa de salida antes de coser, y luego pasa a la capa siguiente. Para la mayoría de los marcos (tales como TensorFlow), cada operación de empalme abrirá nuevas características de memoria para contener el empalme. Esto resulta en una red de capa, y consume una considerable
capa de memoria de la red (la
capa de salida se almacena en la memoria de
partes).
Volver al profundo Red de Aprendizaje historia de desarrollo del modelo de catálogo clásico
Anterior: artículos de fondo - Historia clásica de modelo profundo Red de Aprendizaje (siete) elaboran Inception-ResNet estructura y características
Siguiente: artículos de fondo - profundamente el aprendizaje de la historia del desarrollo clásico modelo de red (nueve) la elaboración de la estructura y las características de cada modelo y con precisión red oscura
