1.
Documento de introducción: uno de los contenidos principales de Deep Residual Learning for Image Recognition
ResNet es "Deeper Bottleneck Architectures" (DBA para abreviar). En pocas palabras, el cuello de botella es una estructura residual especial.
La imagen original en el artículo de Resnet es la anterior (es decir, cuello de botella V1), la imagen de la izquierda es la estructura residual ordinaria y la imagen de la derecha es la estructura del cuello de botella. Específicamente, la entrada y la salida channel_num del bloque son las mismas (256 en la imagen superior derecha y 64 en la imagen izquierda),
Y el channel_num en la estructura del bloque (64 en la imagen superior derecha) es más pequeño que el channel_num de entrada/salida (256), que es muy vívido. Es decir, primero reducir la dimensión y luego aumentar la dimensión.
2. Función
Después de cambiar al diseño de cuello de botella, los parámetros de la red se reducen mucho, la profundidad también se profundiza y el entrenamiento es relativamente fácil.
Referencia:
Deep Learning Foundation – Bottleneck (Cuello de botella) Arquitecturas