[Aprendizaje profundo] Entrenamiento de precisión mixto y análisis de memoria de video

Entrenamiento de precisión mixto y análisis de memoria de video.

Para obtener una introducción a la precisión de los parámetros, consulte el artículo https://zhuanlan.zhihu.com/p/604338403

Blog relacionado
[Megatron-DeepSpeed] Código de herramienta paralela de tensor Mpu Explicación detallada (3): Implementación y prueba de la capa paralela de tensor
[Megatron-DeepSpeed] Código de herramienta paralela de tensor Mpu Explicación detallada (1): Inicialización del entorno paralelo
[Megatron-DeepSpeed] Tensor Código de herramienta paralela mpu Explicación detallada (2): Mapeos de encapsulación de operaciones de comunicación colectiva
[Aprendizaje profundo] [Capacitación distribuida] DeepSpeed: AllReduce y ZeRO-DP
[Aprendizaje profundo] Entrenamiento de precisión mixto y análisis de memoria de video
[Aprendizaje profundo] [Capacitación distribuida] Capacitación] Operación de comunicación colectiva y ejemplo de Pytorch
[Procesamiento del lenguaje natural] [Modelo grande] Modelo de lenguaje grande Prueba de herramienta de razonamiento BLOOM
[Procesamiento del lenguaje natural] [Modelo grande] GLM-130B: un modelo de lenguaje bilingüe previamente entrenado de código abierto
[Procesamiento del lenguaje natural ] [Modelo grande] Introducción a la multiplicación de matrices de 8 bits para transformadores grandes
[Procesamiento del lenguaje natural] [Modelo grande] BLOOM: Un modelo multilingüe con 176B de parámetros y acceso abierto

1. ¿Cómo se entrena el modelo?

Aquí se presenta una breve introducción al proceso de propagación hacia adelante, propagación hacia atrás y optimización, que facilita la comprensión del entrenamiento de precisión mixto posterior y el análisis de la memoria de video.

1. Propagación hacia adelante

Las redes neuronales pueden verse como funciones de ajuste de gran tamaño. Supongamos que la red neuronal es $f(x;yo)=gramo\left(z\right),z=h\left(x\right)$ . Luego, el proceso de propagación hacia adelante de la red neuronal: la muestra$x$ se introduce en la función$h$ , obtenga la salida$z=h\left(x\right)$ ; entonces generará$z$ se envía a la función$g$ obtiene el resultado final$gramo\left(z\right)$ . Todo el proceso se simplifica como$f(x;\theta )$，$\theta$ es el parámetro a aprender del modelo.

2. Propagación hacia atrás

​ La retropropagación aquí todavía sigue los supuestos anteriores: red neuronal $f(x;yo)$ ,$x$ es la entrada,$\theta$ es un parámetro. Además, supongamos que hay$N$ muestras etiquetadas$\{(x_{},y_{}),(x_{},y_{}),\dots ,(x_{},y_{})\}$ , entre los cuales$X_{}$derecha $El\; valor\; de\; i$ muestras,$y_{}$es la etiqueta correspondiente. Ahora, de NNSeleccione mm$de\; N$ muestras$m$ muestras para formar un lote$\{(x_1^{},y_1^{}),(x_2^{},y_2^{}),\dots ,(x_{metro}^{},y_{metro}^{})\}$ . Entonces el modelo está aquímmEl gradiente en$m$$gramo=\frac{}{metro}{\nabla }_{}{\sum }_{yo=1}^{}L\left(f\right(x_i^{};yo),y_i^{})$。

• SGD

  设$lr$ es la tasa de aprendizaje del modelo, entonces el proceso de optimización del modelo es:
  $$i\leftarrow i-lr\times gramo$$

• Adán

  En comparación con el proceso de optimización de SGD, Adam resuelve los problemas de oscilación de gradiente y tasa de aprendizaje dinámico introduciendo dos variables. Específicamente, inicialice dos variables $v=0$ y$r=0$ y especifique dos hiperparámetros$b_{}$y $b_{}$. Supongamos que ahora es $t+Actualización\; en\; 1$ paso y gradiente por lotes$gramo$Definiciones:
  $$\begin{gathered} v=b_{}\cdot v+(1-b_{})\cdot gramo \\ r=b_{}\cdot r+(1-b_{})\cdot gramo\odot gramo \\ \hat{v}=\frac{}{1-b_1^{}} \\ \hat{r}=\frac{}{1-b_2^{}} \\ yo\_=\frac{v}{\sqrt{\hat{r}}+d} \end{gathered}$$
  Entre ellos, $\delta$ es una pequeña constante, generalmente establecida en$10^{-8.\_\_}$ _ El proceso de actualización de los parámetros del modelo es:
  $$i=i-lr\times yo\_$$

2. Entrenamiento de precisión mixto

1. Precisión

Por lo general, el modelo se entrenará con precisión float32, pero a medida que el modelo se hace más grande, el costo del hardware y el tiempo de entrenamiento aumentan considerablemente. Entonces, ¿es posible utilizar float16 para entrenar? La respuesta es no .

​ El rango de representación de float16 es $[-65504\_\sim 66504]$ , lo que indica que la precisión es$2^{-24}$ .

• Ventajas del flotador16
  • Reduzca el uso de la memoria de video ; float16 es la mitad más pequeño que float32 y todo el uso de la memoria de video se puede reducir a la mitad;
  • Reducir la sobrecarga de comunicación de la red ;
  • El hardware está optimizado para float16 y la velocidad es más rápida ;
• Desventajas del flotador16
  • desbordamiento . Para el aprendizaje profundo, el mayor problema con float16 es el "desbordamiento insuficiente". La actualización del modelo suele ser $\text{degradado}\times \text{lr}$ , a medida que se entrena el modelo, este valor tiende a ser pequeño y puede exceder la precisión representada por float16. El resultado es:la mayoría de los pesos del modelo ya no se actualizan y el modelo es difícil de converger.
  • Error de redondeo . La diferencia entre el peso del modelo y el gradiente es demasiado grande. Cuando el peso se actualiza mediante el gradiente y se redondea, es posible que el peso antes y después de la actualización no cambie.

2. Principio

Para aprovechar las ventajas de float16 y evitar las desventajas se propone un entrenamiento de precisión mixto. En general, float16 se usa para pesos y gradientes de modelos en entrenamiento de precisión mixta, y float32 se usa para parámetros del optimizador. Además, el optimizador también necesita guardar una versión float32 de los pesos.

El proceso específico de precisión mixta es el siguiente:

• Propagación hacia adelante utilizando pesos float16;
• La retropropagación obtiene el gradiente de float16;
• Calcule la cantidad de actualización de peso de la precisión float32 a través del optimizador;
• Actualizar pesos float32;
• Convertir pesos float32 a float16;

3. Combate real

• ápice。

  Apex es una herramienta de entrenamiento de precisión mixta desarrollada por NVIDIA, que permite a los usuarios implementar rápidamente un entrenamiento de precisión mixta. A continuación se muestra cómo llamar a Apex para lograr un entrenamiento de precisión mixto:

from apex import amp

###########
# 其他代码 #
###########

# 利用amp.initialize重新封装model和optimizer
model, optimizer = amp.initialize(model, optimizer, opt_level="O1")

# 其他训练代码

with amp.scale_loss(loss, optimizer) as scaled_loss:
    scaled_loss.backward() #梯度自动缩放
optimizer.step() #优化器更新梯度
optimizer.zero_grad()

###########
# 其他代码 #
###########

​,amp.initialize(model, optimizer, opt_level="O1") aquí se especificará el registro de precisión mixta, y hay 4 niveles en total:

O0: entrenamiento de precisión puro float32, que se puede utilizar como línea base de referencia;
O1: determina automáticamente si usar float16 o float32 de acuerdo con la lista blanca y negra (recomendado);

O2: La mayoría usa float16, excepto la norma por lotes;

​ O3: flotación pura16, entrenamiento inestable;

• nativo de pytorch

  Pytorch admite el entrenamiento de precisión mixto después de la versión 1.6. A continuación se muestra el código de muestra.

  from torch.cuda.amp import autocast as autocast, GradScaler
   
  ###########
  # 其他代码 #
  ###########
   
  scaler = GradScaler()
   
  ###########
  # 其他代码 #
  ###########
          
  # 前向传播过程中开启
  with autocast():
      output = model(input)
      loss = loss_fn(output, target)
   
  # float16精度范围有限，需要放大
  scaler.scale(loss).backward()
  scaler.step(optimizer)
  scaler.update()
   
   
  ###########
  # 其他代码 #
  ###########
  

3. ¿Dónde está la memoria de vídeo?

En la actualidad, el entrenamiento de modelos grandes utiliza básicamente entrenamiento de precisión mixta. Con base en la introducción anterior al entrenamiento de precisión mixta, analizaremos más a fondo la ubicación de la memoria de video.

1. Consumo de memoria principal

​ Supongamos que hay una cantidad de parámetro $\Psi$ y utilice Aadm como optimizador. En primer lugar, dado que los parámetros y gradientes del modelo usan float16, el consumo de memoria es$2\Psi$和$2\Psi$ . Aadm mantendrá una copia del modelo float32, que consumirá$4\Psi$ . Además, según el optimizador Aadm presentado anteriormente, Adam necesita mantener dos variables de estado$v$ y$r$ . debido a$v$ y$r$ es float32, por lo que el uso de la memoria de video es$4P+4\Psi$ . En general, el modelo consume$2P+2P=Memoria\; de\; video\; 4\Psi$ , el optimizador Aadm consume$4P+4P+4P=12\Psi$ de memoria de vídeo. Finalmente, el consumo total de memoria de video es$4P+12\; libras=16\Psi$ . Para un modelo con parámetros de 1.5B como GPT-2, el consumo de memoria es de al menos$24GB$ .

2. El consumo restante de memoria de video.

​Activaciones . La activación es z = h ( x ) z=h(x) introducida en el proceso anterior de "propagación hacia adelante"$z=h\left(x\right)$ , después de completarg ( z ) g(z)La tarjeta gráfica necesita guardar zzantes de$g$$($$z$$).$$z$ . Evidentemente, las activaciones también consumen mucha memoria de vídeo durante el entrenamiento. Un ejemplo específico, el modelo es GPT-2 de 1.5B, la longitud de la secuencia es 1K y el tamaño del lote es 32, luego el consumo de memoria es 60GB. El punto de control de activación (o recálculo de activación) es un método común para reducir el uso de memoria de la activación. Este método reduce el uso de memoria de las activaciones a una división uniforme del total de activaciones a costa de un 33% de recálculo. Es decir, el uso de la memoria de vídeo activa se reduce de 60 GB a 8 GB.

​ Aunque la huella de memoria de las activaciones se ha reducido significativamente, también pueden ser muy grandes para modelos más grandes. Por ejemplo, para un modelo GPT con 100B de parámetros y un tamaño de lote de 32, incluso si se usa para puntos de control de activación, el uso de memoria de video aún necesita 60 GB.

​Refugios temporales . Para modelos grandes, el búfer temporal utilizado para almacenar resultados intermedios también consume mucha memoria de video. Por ejemplo, en all-reduce, se requiere un búfer plano para fusionar todos los gradientes, mejorando así el rendimiento. Por ejemplo, las operaciones de reducción total en todos los dispositivos aumentan con el tamaño del mensaje. Aunque el gradiente en este artículo es un tensor de fp16, el búfer que puede necesitar fusionarse en algunas operaciones es fp32. Cuando el tamaño del modelo es grande, el búfer temporal no es pequeño. Por ejemplo, para un modelo con parámetros de 1,5 B, un búfer fp32 requiere 6 GB de memoria de video.

Fragmentación de la memoria de vídeo . Incluso si hay suficiente memoria de video, esto puede provocar falta de memoria, lo cual es causado por la fragmentación de la memoria de video. Cuando un proceso realiza una solicitud de memoria de video, si no hay memoria de video contigua para satisfacer la solicitud, incluso si la memoria de video total sigue siendo suficiente, la solicitud fallará. Se puede observar una fragmentación significativa de la memoria al entrenar modelos muy grandes. En casos extremos, puede provocar una fragmentación de la memoria de vídeo del 30 %.

Referencias

https://arxiv.org/pdf/1910.02054.pdf

https://zhuanlan.zhihu.com/p/103685761

https://zhuanlan.zhihu.com/p/604338403

https://blog.csdn.net/flyingluohaipeng/article/details/128095936

https://zhuanlan.zhihu.com/p/406319979