ReLU (Unidad lineal rectificada) y Sigmoide son funciones de activación comúnmente utilizadas en redes neuronales.
Características:
ReLU es una función de activación simple y efectiva. Devuelve la entrada directamente para la parte positiva y cero para la parte negativa. Esta transformación no lineal ayuda a la red a aprender representaciones más complejas. ReLU se usa ampliamente en muchos modelos de aprendizaje profundo porque es relativamente simple de calcular en descenso de gradiente y previene eficazmente el problema del gradiente que desaparece.
La función sigmoidea asigna la entrada al rango entre (0, 1) y se usa a menudo en problemas de clasificación binaria. Su salida puede interpretarse como un valor de probabilidad y, por lo tanto, se utiliza en la capa de salida para que el modelo tenga la confianza de que la muestra pertenece a una determinada clase. Sin embargo, el gradiente de la función sigmoidea se acerca a cero cuando la entrada está lejos de cero, lo que puede conducir al problema del gradiente que desaparece, especialmente en redes profundas.
Gráfico de la función de activación de ReLU:
- La gráfica de la función ReLU es una línea recta, la salida es igual a la entrada cuando la entrada es mayor que cero y la salida es cero cuando la entrada es menor o igual a cero.
Gráfico de la función de activación sigmoidea:
- La gráfica de la función sigmoidea es una curva en forma de S que asigna la entrada al rango (0, 1).
En el uso real, ReLU se usa a menudo en capas ocultas, mientras que Sigmoid se usa a menudo en capas de salida (para tareas de clasificación binaria). A medida que avanza la investigación, existen algunas variantes, como Leaky ReLU, Parametric ReLU, ELU, etc., destinadas a mejorar el rendimiento de la función de activación. La elección de la función de activación suele depender de la tarea específica y de la estructura de la red.