Red neuronal: puntos de conocimiento de la capa de función de activación

1. El papel de la función de activación, ¿cuáles son las funciones de activación más utilizadas?

El papel de la función de activación.

La función de activación puede introducir factores no lineales para mejorar la capacidad de expresión de aprendizaje de la red.

Funciones de activación más utilizadas

Función de activación sigmoidea

La función se define como:

$$f\left(x\right)=\frac{}{1+{mi}^{-x\_}}$$

Como se muestra en la siguiente figura, su rango de valores es $(0,1)$ . En otras palabras, cada neurona y nodo de entrada se escalará a un valor entre$0$ y1 1valor entre$1\; .$

cuando $Cuando\; x$ es mayor que cero, el resultado de salida se acercará a$1$ , y cuando$Cuando\; x$ es menor que cero, el resultado de salida tiende a$0.$ Debido a las características de la función,a menudo se utiliza como función de activación de salida de clasificación binaria.

Derivada de sigmoide:

$$F^{{}^{\text{'}}}\left(X\right)=(\frac{}{1+{mi}^{-x\_}}{)}^{{}^{\prime }}=\frac{}{1+{mi}^{-x\_}}\left(1-\frac{}{1+{mi}^{-x\_}}\right)=f(x\left)\right(1-f(x))$$

cuando $X=Cuando\; 0$ ,$f(x{)}^{\prime }=\mathrm{0,25}$。

Ventajas del sigmoide:

1. liso
2. Fácil de derivar
3. Puede utilizarse como probabilidad para ayudar a explicar los resultados de salida del modelo.

Desventajas del sigmoide:

1. Cuando los datos de entrada son grandes o pequeños, el gradiente de la función es casi cercano a 0, lo que es muy perjudicial para el aprendizaje de la red neuronal en la retropropagación.
2. El valor medio de la función sigmoidea no es 0, lo que provoca que solo se produzca retroalimentación totalmente positiva o totalmente negativa durante el proceso de entrenamiento de la red neuronal.
3. El valor de la derivada es siempre menor que 1 y la propagación hacia atrás puede hacer que el gradiente desaparezca fácilmente.

Función de activación de Tanh

La función Tanh se define como:

$$f\left(x\right)=El\left(x\right)\_=\frac{{mi}^X-{mi}^{-x}}{{mi}^X+{mi}^{-x\_}}$$

Como se muestra en la siguiente figura, el rango de valores es $(-1,\_1)$。

Ventajas de Tanh:

1. La función Tanh comprime los datos en el rango de -1 a 1, resolviendo el problema de que el valor medio de la función sigmoidea no es 0, por lo que en la práctica la función Tanh suele ser más fácil de converger que la función sigmoidea. En forma matemática, Tanh es en realidad solo una forma escalada de Sigmoide. La fórmula es $el\left(x\right)\_=2f(2x)\_\_-1$（$f\left(x\right)$ es la función de Sigmoide).
2. liso
3. Fácil de derivar

Derivado de Tanh:

$$F^{{}^{\text{'}}}\left(X\right)=(\frac{{mi}^X-{mi}^{-x}}{{mi}^X+{mi}^{-x\_}}{)}^{{}^{\prime }}=1-(el\left(x\right))\_{}^2$$

cuando $X=Cuando\; 0$ ,$f(x{)}^{\prime }=1$ .

También se puede ver en las derivadas de Tanh y Sigmoide que la derivada de Tanh es más pronunciada y la velocidad de convergencia es más rápida que la de Sigmoide.

Desventajas de Tanh:

El valor de la derivada es siempre menor que 1 y la propagación hacia atrás puede hacer que el gradiente desaparezca fácilmente.

Función de activación de Relu

La función de activación de Relu se define como:

$$f\left(x\right)=máximo(0,\_X)$$

Como se muestra en la siguiente figura, el rango de valores es $[0,+\infty )$。

Ventajas de ReLU:

1. La fórmula de cálculo es muy simple: no implica operaciones exponenciales más costosas como las dos funciones de activación presentadas anteriormente, lo que ahorra mucho tiempo de cálculo.
2. En el descenso de gradiente estocástico, es más fácil hacer que la red converja que Sigmoide y Tanh.
3. Cuando ReLU ingresa a la mitad del área negativa, el gradiente es 0. En este momento, las neuronas se entrenarán para formar una supresión unilateral, lo que resultará en escasez, lo que puede extraer características escasas mejor y más rápido.
4. Los gradientes de las derivadas de las funciones de activación Sigmoide y Tanh en las zonas de saturación positiva y negativa serán cercanos a 0, lo que hará que el gradiente desaparezca, mientras que la parte de la función ReLU mayor que 0 es una constante para mantener el gradiente. se atenúe y no hará que el gradiente desaparezca.

Escaso : en las redes neuronales, esto significa que la matriz de activación contiene muchos ceros. ¿Qué nos aporta este escaso rendimiento? Esto da como resultado una mayor eficiencia en términos de complejidad temporal y espacial, requiriendo menos espacio para valores constantes y menores costos computacionales.

Derivado de ReLU:

c ( u ) = { 0 , x < 0 1 , x > 0 indefinido , x = 0 c(u)=\begin{cases} 0,x<0 \\ 1,x>0 \\ indefinido,x=0 \end{casos}c ( tu )=⎩ ⎨ ⎧0 ,X<01 ,X>0indefinido , _ _ _ _ _ _ _X=0

Generalmente $X=0$ , dado que su derivada es$1$ y$0$ .

Desventajas de ReLU:

1. El entrenamiento puede provocar que algunas neuronas nunca se actualicen. Una de las mejoras a la función ReLU es LeakyReLU.
2. ReLU no puede evitar el problema de la explosión de gradiente.

Función de activación LeakyReLU

La función de activación de LeakyReLU se define como:

$$f\left(x\right)=\{\begin{array}{r}unax,X<0\\ X,X\ge \end{array}$$

Como se muestra en la siguiente figura ( $a=0.5$ ), el rango de valores es$(-\infty ,+\infty )$。

Ventajas de LeakyReLU:

La diferencia entre este método y ReLU es que $Cuando\; x$ es menor que 0,$f\left(x\right)=ax$ , en el que$a$ es una pendiente muy pequeña (digamos 0,01). Estas mejoras pueden hacer$Cuando\; x$ es menor que 0, no provocará el fenómeno de desaparición del gradiente durante la retropropagación.

Desventajas de LeakyReLU:

1. No se puede evitar el problema de la explosión de gradientes.
2. La red neuronal no aprende α \alphavalor$\alpha \; .$
3. Al derivar la derivada, ambas partes son lineales.

Función de activación SoftPlus

La función de activación de SoftPlus se define como:

$$f\left(x\right)=lnorte(1+{mi}^X)$$

El rango de valores es $(0,+\infty )$。

La imagen de la función es la siguiente:

SoftPlus puede considerarse como el suavizado de ReLU.

Función de activación ELU

La función de activación ELU resuelve algunos problemas de ReLU conservando algunos aspectos buenos. Esta función de activación requiere seleccionar un $Valor\; \alpha$ , su valor común está entre 0,1 y 0,3.

La definición de la función se ve así:

$$f\left(x\right)=\{\begin{array}{r}a({mi}^X-1),X<0\\ X,X\ge \end{array}$$

Si ingresamos $El\; valor\; de\; x$ es mayor que$0$ , el resultado es el mismo que ReLU, es decir,$El$ valor de y es igual a$valor\; x$ ; pero si la entrada$El\; valor\; de\; x$ es menor que$0$ , entonces obtendremos un valor ligeramente menor que$El\; valor\; de\; 0$ , el resultante$El$ valor de y depende de la entrada$valor\; de\; x$ , pero también tener en cuenta el parámetro$\alpha$ : este parámetro se puede ajustar según sea necesario. La fórmula introduce además la operación exponencial${mi}^x$ , por lo que el costo computacional de ELU es mayor que el de ReLU.

α \alpha se da a continuaciónGráfico de la función ELU cuando$el\; valor\; \alpha \; es\; 0,2:$

Derivado de ELU:

La gráfica derivada se ve así:

Ventajas de ELU:

1. Puede evitar la situación en la que algunas neuronas en ReLU no se pueden actualizar.
2. Puede obtener una salida de valor negativo.

Desventajas de ELU:

1. Contiene operaciones exponenciales y lleva mucho tiempo calcularlas.
2. No hay forma de evitar el problema de la explosión de gradiente.
3. La red neuronal no puede aprender α \alphavalor$\alpha \; .$