Tabla de contenido
(2) función sigmoidea (de uso común)
(4) Función ReLU (actualmente de uso común)
1. Información general
En el perceptrón, el peso w se ingresa manualmente y la red neuronal puede aprender automáticamente los parámetros de peso apropiados a partir de los datos. Se puede entender que la red neuronal toma las características de los datos de los datos para obtener pesos y finalmente utiliza los pesos para identificar datos desconocidos.
El diagrama de la estructura de la red neuronal es el siguiente:
La imagen de arriba muestra una red neuronal de 3 capas, que es la estructura de red neuronal más simple, en la que la capa intermedia a veces se denomina "capa oculta". Similar al perceptrón, en la red neuronal, ingresamos muestras de datos como la señal de entrada, y luego obtenemos el peso a través del cálculo de características de los datos obtenidos en la capa oculta, y finalmente obtenemos el resultado de salida requerido en la capa de salida.
2. Función de activación
(1) Conceptos básicos
Primero, veamos la fórmula del perceptrón:
Simplifique la fórmula del perceptrón para
donde h(x):
De esto puedes obtener
a=b+w1x1+w2x2
y=h(a)
donde h(a) es la función de activación. Su estructura es la siguiente:
(2) función sigmoidea (de uso común)
oficial:
donde exp(-x) representa el cuadrado -x de e. (No es necesario recordar esta fórmula, es solo un método de cálculo)
Código (sigmoide):
def sigmoid(x):
return 1 / (1 + np.exp(-x))(3) función de paso
Tanto la función escalonada como la función sigmoidea son funciones no lineales, pero a diferencia de sigmoidea, la función sigmoidea es una curva suave, mientras que la función escalonada es una curva bruscamente descendente o ascendente.
Las curvas de función se comparan de la siguiente manera:
código (función de paso)
def step_function(x):
y = x > 0
return y.astype(np.int)(4) Función ReLU (actualmente de uso común)
En la actualidad, la función ReLU es muy utilizada, y su fórmula es la siguiente:
Código (función ReLU):
def relu(x):
return np.maximum(0, x)