Documento: Redes convolucionales densamente conectadas
Enlace del documento: https
1. Resumen
El resumen menciona que las principales ventajas de los modelos en este artículo son:
1. Alivian el problema de la desaparición del gradiente
2. Mejoran la propagación y reutilización de características
3. Reducen en gran medida la cantidad de parámetros
Veremos cómo se derivan estas ventajas de este artículo En el próximo artículo, primero explique el contenido del primer párrafo de la marca, lo que significa que la capa L de la red CNN tradicional tiene solo L conexiones, mientras que DenseNet, la capa L tiene L (L +!) / 2 conexiones, que es una característica de este modelo. Analicemos a continuación cómo se obtiene este número de conexión, para profundizar una comprensión perceptiva de sus ventajas.
Primero mire un diagrama esquemático del método de conexión de DenseNet en el artículo, de la siguiente manera:
A continuación, analizamos el diagrama para obtener la fórmula para calcular el número total de conexiones, de la siguiente manera:
La siguiente discusión, entre sus ventajas, reduce en gran medida la cantidad de parámetros. Puede ver la siguiente tabla. El objeto de comparación es ResNet. En la figura, en comparación con ResNet, la cantidad de parámetros y la cantidad de cálculo de DenseNet son ambos órdenes de magnitud menores. .
En cuanto a las ventajas de aliviar el problema de la desaparición del gradiente y mejorar la propagación y reutilización de características, creo que la razón principal se puede atribuir a la gran reducción del número de parámetros y a los métodos de profundización y conexión del número de capas. La cantidad de parámetros se puede aliviar el problema de la desaparición del gradiente, y la profundización del número de capas y el volumen del método de conexión de DenseNet puede fortalecer la propagación de características.
2. Estructura del modelo
La estructura del modelo de DenseNet es la siguiente:
Permítanme hablar sobre el significado de los números en DenseNet-121 DenseNet-169.... Los números indican el número de capas en la red. Por ejemplo, 121 es:
1 + 6 ∗ 2 + 1 + 12 ∗ 2 + 1 + 24 ∗ 2 + 1 + 16 ∗ 2 + 1 = 121 1+6*2+1+12*2+1+24*2+1+16*2+1=1211+6∗2+1+1 2∗2+1+2 4∗2+1+1 6∗2+1=1 2 1
Cabe señalar que el tamaño del mapa de características del bloque denso no cambiará cada vez que DenseNet pase a través de él.
2.1 Mejoras a ResNet
Este artículo mejora ResNet. ResNet utiliza mapeo de identidad y omisión de capas. El autor cree que este método aditivo obstaculizará la difusión del flujo de información, por lo que el autor lo mejoró para que la entrada de la capa L provenga de la suma. Antes de la capa L-1, el formulario es la interpretación anterior del método de conexión, y la función H (.) se define como una función compuesta, que contiene 3 operaciones continuas: Conv (ReLU (BN (.))).
ResNet
DensoNet
2.2 Dos bloques principales
El bloque denso se utiliza principalmente para profundizar la profundidad, mientras que el bloque de transición se utiliza principalmente para reducir el número de mapas de características. El principio fundamental es utilizar el efecto de reducción de dimensionalidad del núcleo de convolución 1x1. El principio se puede ver en: Comprensión de la convolución 1x1. núcleo .
La estructura del bloque denso, un bloque de bloque denso contiene N capas de Bottlenck, y las capas están conectadas secuencialmente, como L1->L2->L3...
Estructura del bloque de transición
