Resumen de varios optimizadores para el aprendizaje profundo

1. Principio de diseño del algoritmo de optimización

El principio del algoritmo de optimización en el aprendizaje profundo es el método de descenso de gradiente, que minimiza la función objetivo $J\left(\theta \right)$ , el proceso de solución óptima, primero resuelve el gradiente de la función objetivo$\nabla J\left(\theta \right)$ , entonces el parámetro$Si\; \theta$ es una variable independiente,$i_{}=i_{t-}-\eta \nabla J\left(\theta \right)$，$\eta$ es la tasa de aprendizaje, que indica el tamaño del paso de actualización del gradiente. El algoritmo del que depende el proceso de optimización se llama optimizador. Se puede ver que los dos núcleos del optimizador de aprendizaje profundo son el gradiente y la tasa de aprendizaje. El el primero determina la dirección de actualización de los parámetros, y el segundo determina el grado de actualización de los parámetros.

Definimos $\theta$ es el parámetro a optimizar,$J\left(\theta \right)$ es la función objetivo, y la tasa de aprendizaje inicial es$norte$ _ El marco de ejecución del algoritmo de optimización durante el proceso de descenso de gradiente es el siguiente:

1. Calcular el gradiente de la función objetivo con respecto a los parámetros actuales:

$${gramo}_{}=\nabla J\left({yo}_{}\right)$$

2. Calcule el impulso de primer y segundo orden del gradiente histórico según sea necesario:

$${metro}_{}=\varphi ({gramo}_{},{gramo}_{},\cdot \cdot \cdot ,{gramo}_{})$$

$$V_{}=\psi ({gramo}_{},{gramo}_{},\cdot \cdot \cdot ,{gramo}_{})$$

3. Calcular la pendiente descendente en el momento actual:

$$pag=el\ast {metro}_{}/\sqrt{V_{}}(optimizador\; adaptativo)$$

$$pag=el\ast {gramo}_{}(optimizador\; no\; adaptativo)$$

4. Realice una actualización de descenso de gradiente

$$i_{t+}=i_{}-pag$$

Para varios optimizadores, paso $3$ y paso$4$ son iguales, la principal diferencia se refleja en el paso$1$ y paso$2.$ Expliquemos en detalle las ideas de diseño de estos optimizadores.

1. Optimizador no adaptativo

Durante el proceso de optimización, la tasa de aprendizaje permanece sin cambios a lo largo de todo el proceso, o de acuerdo con un cierto $horariodeaprendizajehorario\_\_$ $programarcambios\; a\; lo\; largodel$ tiempo, denominado optimizador no adaptativo, esta categoría incluye$los$$SGD$ SGD$más$$comunes$$SGD$ (descenso de gradiente estocástico) conMomentum MomentumSGDde$M$$o$$m$$e$$n$$t$$u$$m\; SGD$$SGD$、带$Nesterov$的$SGDet$ al.

1, $BGD$ ($gradienteporlotes$ gradiente$\_$$\_$$descensodegradiente\_\_\_\_\_$ $descenso$ )$\_$$\_$$\_$

Su fórmula de actualización de gradiente es:

$$i=i-el\ast {\nabla }_{}J\left(\theta \right)$$

$SGD$ utiliza los datos de todo el conjunto de entrenamiento para calcular la pérdidacada vez que se actualiza el gradiente$l\; El\; gradiente\; deoss$ a los parámetros, por lo que es muy lento de calcular y será muy complicado cuando encuentre una gran cantidad de conjuntos de datos, y no es posible actualizar el modelo en tiempo real con nuevos datos.

2, $Método\; de\; descenso\; de\; gradiente\; estocástico\; SGD$ ($Gradientedegradienteestocástico\_\_\_$ $descensodegradiente\_\_\_\_\_$ $descenso$ )$\_$$\_$$\_$

Su fórmula de actualización de gradiente y $SGD$ es similar.

$El\; proceso\; de\; descenso\; de\; gradiente\; de\; SGD$ es similar a una pequeña pelota que rueda cuesta abajo, su dirección hacia adelante solo es consistente con la dirección de pendiente máxima de la colina actual (dirección máxima de gradiente negativo), y la velocidad inicial en cada momento es 0. La regla de actualización de gradiente es: cada actualización para un$Las\; actualizaciones\; de\; gradiente\; se\; realizan\; para\; cada\; muestra\; enlote\; ,\; lo\; que\; hace\; quelos\; parámetros\; de\; actualización\; de\; la\; redsean$ muy rápidos. Pero sus deficiencias también son obvias, porque$SGD$ actualiza el gradiente con mucha frecuencia, lo que causarácosto costo función función$cos$$t$$Lafunción\; tendrá\; seriosimpactos$ , y puede oscilar de un lado a otro en el mínimo global y saltar$fuera$$del$$óptimo$$global$$.$

3, $MSGD$ ($Mini\_-$ gradiente$por$$lotes$$gradiente$$\_$$descensodegradiente\_\_\_\_\_$ $descenso$ )$\_$$\_$$\_$

De hecho, más a menudo nos referimos a $MSGD$ lo llama$SGD$ , su fórmula de actualización de gradiente y$SGD$ es similar. La regla de actualización de gradiente es:$MSGD$ usa un lote por lotescada vez$lotedemuestra$ , es decir$,$$Se\; calculan\; N$ muestras, por lo que puede reducir la varianza al actualizar los parámetros y la convergencia es más estable.Por otro lado, puede hacer un uso completo de la operación de matriz altamente optimizada en la biblioteca de aprendizaje profundo para un cálculo de gradiente más eficiente. y$2$ SGD medianos$La\; diferencia\; de\; SGD$ es que en lugar de usar todas las muestras en el conjunto de datos cada vez que se actualiza el gradiente, es unlote por lotesnndentro$del$$lote$$\_$$\_$$n$ muestras. SGD SGDmencionado en el siguiente artículo$SGD$ se refiere a$MSGD.$ _

ventaja:

1. Aunque parece que MSGD está en proceso de actualización MSGDcosto costode$MSG$$D$ función función$cos$$t$$Lafunciónfluctúamucho\; y\; tomará\; muchos\; desvíos,\; pero\; los\; requisitos\; para\; los\; gradientesson\; muy\; bajos\; (el\; cálculo\; de\; los\; gradientes\; es\; rápido),\; ypara\; la\; introducciónderuido$ , mucho trabajo teórico y práctico ha demostrado que mientras el el ruido no es particularmente grande,$MSGD$ puede converger bien.

2. Al aplicar grandes conjuntos de datos, la velocidad de entrenamiento es muy rápida. Por ejemplo, tome cientos de puntos de datos de millones de muestras de datos cada vez y calcule un $Gradiente\; MSGD$ , actualice los parámetros del modelo. En comparación con atravesar todas las muestras del método de descenso de gradiente estándar, es mucho más rápido actualizar los parámetros cada vez que se ingresa una muestra.

defecto:

1. No se puede garantizar una buena convergencia, $mini$ -$batch$ solo usa una parte del conjunto de datos para el descenso del gradiente cada vez, por lo que cada descenso no es estrictamente en la dirección del mínimo, pero la tendencia descendente general es en la dirección del mínimo, y es extremadamente fácil de caer en un mínimo local.

2, $l\; Sir$ es demasiado pequeño, la velocidad de convergencia será muy lenta, si es demasiado grande,pérdida pérdida función de función$de$$pérdida$$Lafunciónseguiráoscilandoo$ incluso se desviará del$valor$$mínimo$$.$(Una medida es establecer primero una tasa de aprendizaje más grande, y cuando el cambio entre dos iteraciones es inferior a un cierto umbral, reducir el$tasadeaprendizajetasa\_\_$ $rate$ , pero la configuración de este umbral debe escribirse previamente, pero en este caso no puede adaptarse a las características del conjunto de datos).

3. Para funciones no convexas, también es necesario evitar quedar atrapado en un mínimo local o en un punto de silla, porque el gradiente alrededor del punto de silla es cercano a $0$ ,$MSGD$ fácilmente podría quedarse atascado aquí. Para explicar el punto de silla aquí es: la curva, superficie o hipersuperficie de la vecindad del punto de silla de una función suave se encuentra en diferentes lados de la tangente de este punto. Como se muestra a continuación$2$ .

4, $SGDM$ (con$Momentum$ SGD SGDdel impulso$SGD$ )

Para resolver los problemas que pueden ocurrir en los algoritmos de optimización anteriores, SGDM SGDMNació la aplicación$SG$$D$$M$$Al\; SGD$ se le suma la cantidad de movimiento de primer orden , por intuición se le suma una inercia, en lugares de mayor pendiente habrá mayor inercia, y la bajada será más rápida, será más lenta.

Su fórmula de actualización de gradiente es:

$$v_{}=v\_{\_}_{t-}+\eta \nabla {\_}_{}J\left(\theta \right)$$

$$i=i-v_{}$$

$SGDM$ sumando$v\_{\_}_{t-}$, que se define como cantidad de movimiento, $El\; valor\; de\; \gamma$ comúnmente usado es$0.9$ . Después de usar el impulso, durante el proceso de descenso del gradiente, la velocidad de descenso en la dirección en la que la dirección del gradiente permanece sin cambios se puede hacer más rápida, y la velocidad de descenso en la dirección en la que se cambia la dirección del gradiente se vuelve más lenta. Aquí ponemos un ejemplo más cercano: en la bajada de pendiente original, hemos estado descendiendo en una dirección, y cuando nos encontramos con un barranco (es decir, un punto de inflexión), estamos en el otro lado de la ladera cuando cruzamos el barranco. En este momento la dirección de la pendiente es opuesta a la anterior, en este momento debido a la acumulación del tamaño de la pendiente anterior, los cambios entre las dos laderas se cancelarán, por lo que no oscilará siempre en las dos laderas, y es fácil descender por el valle, solo reduce la vibración. SGDM SGDMEl estado de la actualización del gradiente de$SG$$D$$M$$3$ y Figura$1$ , la vibración se reduce significativamente.

5.$NAG$ ($Nesterov$ $gradienteaceleradogradiente\_\_\_\_\_$ $gradiente$ )$\_$$\_$$\_$$\_$$\_$$\_$$\_$

SGDM introducido por encima de SGDM$Cada\; paso\; descendente\; de\; SGDM$ se compone de una acumulación de la dirección descendente anterior y la dirección del gradiente del punto actual, pero cuando solo desciende hasta las proximidades del punto de inflexión, si continuamos actualizando los parámetros de esta manera en esta vez, tendremos una magnitud mayor que cruza el punto de inflexión, es decir, el modelo no reducirá automáticamente la magnitud de la actualización cuando encuentre un punto de inflexión. NAG mejora el método de cantidad de movimiento para los problemas anteriores, y su expresión es la siguiente:

$$v_{}=v\_{\_}_{t-}+\eta \nabla {\_}_{}J(\theta -v\_{\_}_{t-})$$

$$i=i-v_{}$$

$NAG$ utiliza el valor de gradiente anterior en la posición actual para realizar primero una actualización de parámetros, luego calcula el gradiente en la posición actualizada y agrega esta parte del gradiente al vector de valor de gradiente acumulado previamente. en la acumulación anterior La dirección del gradiente de simula el valor después de la actualización del parámetro en el siguiente paso, y luego reemplaza el gradiente en la posición actual en el método de momento con el gradiente en la posición simulada. Entonces, ¿por qué este método resuelve el problema mencionado anteriormente? Porque$NAG$ tiene un paso para predecir el gradiente de posición del siguiente paso, por lo que cuando cae cerca del punto de inflexión,$NAG$ predice que cruzará el punto de inflexión y el gradiente de este elemento se corregirá para el gradiente anterior, lo que equivale a evitar que su extensión sea demasiado grande.

Como la imagen de arriba$4$ , damos un ejemplo para mostrar brevementeNAG NAGEl principio de actualización de$N$$A$$G$$Método\; SGDM$ , la línea azul corta representa la actualización del gradiente de la posición actual, y la línea azul larga representa el gradiente acumulado antes; la primera línea roja representa el uso de$El\; algoritmoNAG$ predice la actualización del gradiente de la siguiente posición. La primera línea marrón representa el gradiente acumulado previamente, y el resultado de la suma del vector (línea verde) es la dirección de la actualización del parámetro$.$$El\; diagrama\; de\; estado\; de\; NAG$ al actualizar el gradiente se muestra en la Figura$5$ , se puede ver en la figura que en comparación con$SGDM$ y$SGD$ ,$NAGmostróun$ mejor desempeño.

2. Optimizador adaptativo

En el proceso de optimización, la tasa de aprendizaje cambia de forma adaptativa con el gradiente, y trata de eliminar la influencia de la tasa de aprendizaje global dada tanto como sea posible. Se llama optimizador adaptativo, y los comunes incluyen A dagrad $Adagrad$ ,$Adadelta、RMS$ propRMSprop$\_$$\_$$\_$$\_$$RMSprop$、$Adam$等。
1、$Eldagrad$

$Undagrad$ es en realidad una restricción en la tasa de aprendizaje. Para los parámetros que se actualizan con frecuencia, hemos acumulado mucho conocimiento al respecto. No queremos vernos afectados demasiado por una sola muestra, y esperamos que la tasa de aprendizaje será más lenta; $es$$para$El uso de impulso de segundo orden en este método significa la llegada de la era del algoritmo de optimización de "tasa de aprendizaje adaptativo".

Aquí ilustramos el impulso de segundo orden $V_{}$Definición de: se utiliza para medir la frecuencia de actualización histórica de los parámetros, y el impulso de segundo orden es la suma de los cuadrados de todos los valores de gradiente hasta el momento. $La\; expresión\; de\; Adagrad$ es:

$${metro}_{}={gramo}_{}$$

$$V_{}=\sum _{yo=1}{{gramo}_{}}^2$$

$$i_{t+}=i_{}-el\frac{{metro}_{}}{\sqrt{V_{}}}$$

donde ${gramo}_{}$para $El\; parámetro\; gradiente\; en\; el\; tiempo\; t$ , expliquemos por qué$adagrad$ puede cambiar la tasa de aprendizaje de sus parámetros para diferentes$características\; de\; frecuencia$$.$Primero, vemos que la cantidad de movimiento de segundo orden$V_{}$, que es la suma acumulada de los gradientes al cuadrado. Para las funciones con menos datos de entrenamiento, los parámetros correspondientes se actualizan lentamente, es decir, la suma acumulada de los cambios de gradiente al cuadrado será relativamente pequeña, por lo que la tasa de aprendizaje correspondiente al parámetro anterior La ecuación de actualización será más grande, por lo que para un determinado conjunto de datos característicos, la velocidad de actualización del parámetro correspondiente será más rápida. En caso de que el denominador anterior sea $0$ , por lo que a menudo se agrega un parámetro de término de suavizado$ϵ$ , la ecuación de actualización de parámetros se convierte en:

$$i_{t+}=i_{}-el\frac{{metro}_{}}{\sqrt{V_{}+ϵ}}$$

pero $adagrad$ también tiene un problema, es decir, su denominador aumentará a medida que aumente el número de entrenamientos, lo que hará que la tasa de aprendizaje sea cada vez más pequeña, y finalmente infinitamente cercana a$0$$0$ , por lo que es imposible actualizar los parámetros de manera efectiva.

2、$Adadela$

Para A dagrad AdagradContras de$A$$d$$a$$g$$r$$a$$d$$Adadela$ a la cantidad de movimiento de segundo orden$V_{}$Mejorado y $En\; comparación\; con\; Adagrad$ , el denominador se reemplaza por el valor promedio de atenuación del cuadrado del gradiente en el pasado. Este denominador es equivalente al valor cuadrático medio RMS RMS$del$$RMS$ ($raízsignifica$ $meun$ $cuadradorojo)$ .$\_$$\_$$\_$Su expresión es la siguiente:

$${metro}_{}={gramo}_{}$$

$$V_{g,}=\gamma V{\_}_{gramo,t-}+(1-c){g_{}}^2$$

$$V_{Dyo,}=\gamma V{\_}_{re\theta ,t-}+(1-c){yo{\_}_{}}^2$$

$$RMS\left[g\right]t=\sqrt{vg,t+ϵ}$$

$$RMS\left[\Delta \theta \right]t=\sqrt{VDyo,t+ϵ}$$

$$i_{t+}=i_{}-\frac{RMS\left[\Delta \theta \right]\_{}_{t-}}{valor\; eficaz[g{]}_{}}{metro}_{}$$

donde el cambio de impulso de segundo orden al gradiente es $valor\; eficaz[g{]}_{}$; El impulso de segundo orden del cambio en la variable es $RMS\left[\Delta \theta \right]\_{}_{}$y reemplácelo con la tasa de aprendizaje usando . por $adaadelltun$ algoritmo de optimización, ni siquiera necesitamos establecer una tasa de aprendizaje predeterminada, porque esto se ha eliminado en las nuevas reglas$.$

3, $RMSprop$

$RMSprop$和$Adadela$ se trata de resolver$Latasade\; aprendizajede\; Adagrad$ cae bruscamente debido$al$$problema$$.$$RMSprop$ 与 $La\; fórmula\; de\; cálculo\; de\; Adadela$ es muy similar, pero al mismo tiempo se propone de forma independiente, y su expresión es:

$${metro}_{}={gramo}_{}$$

$$V_{}=\gamma V{\_}_{t-}+(1-c){g_{}}^2$$

$$i_{t+}=i_{}-el\frac{{metro}_{}}{\sqrt{V_{}+ϵ}}$$

Se puede ver a partir de esto que $RMSprop$ también necesita establecer manualmente una tasa de aprendizaje inicial$norte$ _ Los autores sugieren que$ϵ$ se establece en 0.9, tasa de aprendizaje$\eta$ se fijó en 0,001.

4、$Adam$ ($Adaptive$ M omento$Momento$$Moment$ $Estimación$ )$\_$

$Elalgoritmode\; Adam$ es otra forma de calcular una tasa de aprendizaje adaptativo para cada parámetro. Es una especie de impulso$Momentum$ yRMS prop RMSpropEl método de combinar$RMSp$$ro$$p$$b_{}$y $b_{}$, cuya expresión es:

$${metro}_{}=b_{}{metro}_{t-}+(1-b_{})g_{}(impulso\; de\; primer\; orden)$$

$$V_{}=b_{}{V}_{t-}+(1-b_{}){g_{}}^2(segundo\; impulso)$$

$${\widetilde{metro}}_{}=\frac{{metro}_{}}{1-b_1^{}}$$

$${\tilde{V}}_{}=\frac{V_{}}{1-b_2^{}}$$

$$i_{t+}=i-el\frac{{\widetilde{metro}}_{}}{\sqrt{{\tilde{V}}_{}+ϵ}}$$

Entre ellos $b_{}$El valor predeterminado es $0.9$，$b_{}$El valor predeterminado es $0.999$ ,$ϵ$的$10^{-8}$，$Adam$ combina cantidad de movimiento y$RMSprop$ los méritos de ambos, por experiencia ha demostrado$Adam\; se\; desempeña\; bien\; en\; la\; prácticay$ tiene ventajas en comparación con otros algoritmos de aprendizaje adaptativo$.$

Resumir

Echemos un vistazo al rendimiento de los algoritmos de optimización anteriores en los puntos de silla y las curvas de nivel:


Como se puede ver en la Figura 6 y la Figura 7, $Adagrad$ ,$Adadelta、RMS$ propRMSprop$\_$$\_$$\_$$\_$$RMSrop$ encuentra la dirección correcta y avanza casi rápidamente, y converge bastante rápido, mientras que otros métodos son lentos o toman muchos desvíos para encontrarla$.$

1. En primer lugar, no hay conclusión sobre cuál de los principales algoritmos es mejor. Si recién está comenzando, dé prioridad a $SGD$ +$Nesterov$ $Momentoo$ AdamAdam$\_$$\_$$\_$$\_$$\_$$\_$$Adam$。$\_$

2、Una presa AdánLos algoritmos de tasa de aprendizaje adaptativo como$Adam$$tienen\; ventajas\; para\; datos\; escasos\; y\; la\; velocidad\; de\; convergencia$$es$$SGDM$ tiende a lograr mejores resultados finales.

3. Elija según sus necesidades: en el proceso de experimento de diseño del modelo, para verificar rápidamente el efecto del nuevo modelo, primero puede usar $Adam$ realiza una optimización experimental rápida; se puede usar SGD SGDajustado$antes\; de\; que\; se\; lance\; el\; modelo\; o\; se\; publiquen$$los\; resultados$$El\; algoritmo\; de\; optimización\; de\; la\; serie\; SGD$ realiza una optimización extrema del modelo.

4. Considere la combinación de diferentes algoritmos. Primer uso $Undaam$ para un descenso rápido antes de cambiar a$El\; algoritmo\; de\; optimización\; de\; la\; serie\; SGD$ está totalmente ajustado.