Al entrenar modelos de redes neuronales convolucionales, a menudo nos encontramos con la agrupación máxima y la agrupación promedio. En los últimos años, la mayoría de los modelos de clasificación de imágenes han utilizado la agrupación máxima. ¿Por qué utilizan la agrupación máxima? ¿Cuáles son sus ventajas?
En general, el efecto de la agrupación máxima es mejor. Aunque la agrupación máxima y la agrupación promedio muestrean los datos, parece que la agrupación máxima es más como una selección de características, seleccionando características con mayor reconocimiento de clasificación, proporcionando La linealidad, de acuerdo con la teoría relevante, el error de extracción de características proviene principalmente de dos aspectos: (1) se incrementa la varianza del valor estimado debido a la limitación del tamaño del vecindario; (2) el error del parámetro de la capa de convolución causa la desviación de la media estimada. En términos generales, la agrupación promedio puede reducir el primer tipo de error y preservar más información de fondo de la imagen, y la agrupación máxima puede reducir el segundo tipo de error y preservar más información de textura. La agrupación promedio se centra más en el muestreo de la información general de la característica, que tiene una mayor contribución a la reducción de la dimensión del parámetro, y se refleja más en la transmisión completa de información. En un modelo muy representativo, como DenseNet La mayoría de las conexiones entre los módulos usan una agrupación promedio, mientras que reducen la dimensión, es más ventajoso transferir la información al siguiente módulo para la extracción de características.
La agrupación promedio también se usa ampliamente en la operación de agrupación promedio global. En la última capa de las estructuras ResNet e Inception, se utiliza la agrupación promedio. A veces, el uso de la agrupación promedio global cerca del final del clasificador de modelos también puede reemplazar la operación de aplanamiento, convirtiendo los datos de entrada en un vector unidimensional.
El rendimiento de uso de la agrupación máxima y la agrupación promedio sigue siendo muy útil para diseñar modelos de red convolucionales. Aunque la operación de agrupación tiene poco efecto en la mejora general de la precisión, reduce los parámetros y reduce la dimensión, controla el ajuste excesivo y mejora el rendimiento del modelo, ahorrando El papel de la potencia informática todavía es muy obvio, por lo que la operación de agrupación es un enlace indispensable en el diseño de redes neuronales convolucionales.