En el aprendizaje profundo, "cuello de botella" se refiere a un módulo o diseño de red que se usa principalmente para reducir la cantidad de cómputo y la cantidad de parámetros, mejorando así el rendimiento y la eficiencia del modelo. Este diseño apareció por primera vez en ResNet (Residual Network), especialmente utilizado ampliamente en ResNet v2.
Específicamente, el diseño de cuello de botella se usa en ResNet para reemplazar las capas convolucionales simples tradicionales. Las capas convolucionales tradicionales aplican un gran conjunto de filtros (como 3x3 o 5x5) en cada ubicación para obtener características locales. Pero tales capas convolucionales a veces pueden generar demasiados cálculos y parámetros, especialmente en redes profundas, lo que conducirá a un proceso de entrenamiento lento y propenso a problemas como la desaparición de gradientes o la explosión.
La idea del diseño de cuello de botella es introducir una capa de cuello de botella, que consiste en una serie de filtros de diferentes tamaños, generalmente una secuencia de capas convolucionales de 1x1, 3x3 y 1x1. Esta secuencia primero usa un kernel de convolución 1x1 para la reducción de la dimensionalidad, luego usa un kernel de convolución 3x3 para la extracción de características y finalmente usa un kernel de convolución 1x1 para la mejora de la dimensión. Tal diseño puede reducir efectivamente la dimensionalidad de los mapas de características, reduciendo así la cantidad de cómputo y la cantidad de parámetros. Además, las capas convolucionales 1x1 también se pueden usar para introducir transformaciones no lineales.
El nombre "cuello de botella" (bottleneck) del diseño del cuello de botella proviene de su estructura, porque después de que el mapa de características se reduce mediante un núcleo de convolución 1x1, la cantidad de canales se reduce significativamente, lo que es visualmente similar a la forma del cuello de botella. Tal estructura permite que el modelo entrene y razone de manera más eficiente mientras mantiene el rendimiento, especialmente en redes profundas.
——Desde ChatGPT