Group Norm (GN), Batch Norm (BN) y Layer Norm (LN) son métodos de normalización de uso común, que pueden mejorar el efecto de entrenamiento del modelo en el aprendizaje profundo.
Diferencia y conexión:
BN es para normalizar los datos de un lote, LN es para normalizar todas las características de cada muestra y GN es para dividir el canal en varios grupos y normalizar los datos de cada grupo.
BN y LN son adecuados para pequeños lotes de datos porque usan la media y la varianza del pequeño lote de datos al normalizar, pero GN también puede funcionar bien para lotes más pequeños porque calcula la media y la varianza dentro de cada grupo.
La normalización para BN y GN se realiza por canal, mientras que LN se realiza por muestra.
Ventajas y desventajas:
BN puede acelerar la convergencia, pero necesita guardar la media y la varianza del conjunto de entrenamiento durante la prueba, por lo que aumentará la memoria adicional y la carga de cálculo.
GN es más robusto que BN, funciona mejor para tamaños de lotes pequeños y no requiere una carga computacional adicional.
LN se desempeña mejor en RNN y modelos de secuencia, pero se desempeña mal en tareas en el dominio de la imagen.
Escena aplicable:
BN es adecuado para tamaños de lote más grandes, como mayores o iguales a 32.
GN es adecuado para lotes pequeños y datos de entrenamiento irregulares.
LN es adecuado para RNN y modelos de secuencia.