Tabla de contenido
1.1.1 Defectos de una sola capa de neuronas
2 Regresión logística y entropía cruzada
1 perceptrón multicapa
1.1 Conocimientos teóricos
1.1.1 Defectos de una sola capa de neuronas
El problema de XOR, solo mira las notas, aquí está la explicación principal
1.1.2 Inspiración neuronal
Perceptrón multicapa
Cuando se agrega la función de activación, es para que la salida alcance un cierto valor esperado de salida enviado
1.2.3 Función de activación:
Relu
simod y tanh pueden causar fácilmente problemas de saturación
Leak relu se usa en la red profunda
1.3 implementación de código
Análisis del modelo:
análisis:
Configuramos la salida para que tenga diez unidades ocultas Forma de salida (Ninguna, 10)
(3 variables multiplicadas por sus pesos) x1 w1 x2 w2 x3 w3 más un parámetro * 10 = 40
Como se muestra:
Dense_1 10 unidades ocultas más un parámetro de sesgo 11
Luego entrene el modelo, luego necesitamos configurar su optimizador
prueba
2 Regresión logística y entropía cruzada
2.1 Valor binario de salida
Función sigmoidea
La red neuronal es una red de mapeo
Si utiliza la función de pérdida por diferencia cuadrada para describir la pérdida , la pérdida generalmente está al mismo nivel que el conjunto de datos original
Problema: hay muchas iteraciones y la velocidad de entrenamiento es lenta
Por lo tanto, el problema de clasificación usa entropía cruzada (muy similar a la entropía de información de Naive Bayes)
2.2 Base teórica
Caracterizar la probabilidad
Cerca de 0 es muy grande, lo que aumenta la pérdida de la distribución de probabilidad.
Usamos cadenas para representar la entropía cruzada binaria
Mira los datos
Debido a que la máquina de vectores de soporte usa -1.1 y usamos el segundo tipo de problema de regresión logística aquí, debemos usar 0, -1 y agregarle capas.
4 unidades ocultas, para la primera capa, las primeras 15 columnas de la forma de datos activan relu
2 capas ocultas + una capa de salida
