Red neuronal (1): red neuronal de avance

1. Conceptos relacionados

Neural Network (Neural Network) es esencialmente un clasificador no lineal (que puede ser de dos clases o de múltiples clases), que es adecuado para altas dimensiones de características de muestra y tiempo compartido no lineal.

[La salida final de la red neuronal es una función de predicción no lineal compleja, visualizada como un límite no lineal complejo en un espacio de alta dimensión]

[El proceso de entrenamiento de la red neuronal consiste en ajustar los parámetros de peso de acuerdo con las muestras de entrada (xi, yi), y el resultado final del entrenamiento modelo es obtener el peso del parámetro de peso]

                              Diagrama esquemático de límite no lineal

                           Diagrama esquemático de la red neuronal de propagación directa simple 

Arquitectura de red neuronal (arquitectura): capa de entrada, capa oculta (1 o más capas), parámetros relacionados con la capa de salida

Capa de entrada: características de muestra

Capas ocultas: características complejas construidas por funciones no lineales

Capa de salida: resultados de clasificación [si es una función sigmoidea, emite un valor de probabilidad que pertenece a una determinada categoría.

Sesgo: además de la capa de salida, tanto la capa de entrada como la capa oculta tienen un término de sesgo a0.

Matriz de coeficientes de peso (pesos / matriz de parámetros): tenga en cuenta que la dimensión es (S j + 1 x S j +1).

Función de excitación (función de activación): una función no lineal aplicada en una red neuronal: puede ser relu (), sigmoide () ... [sigmoide también se denomina función logística]

[La conexión entre el modelo de red neuronal y la regresión logística: cuando la función utilizada es una función sigmoidea, el cálculo de una sola neurona en la capa j + 1 es equivalente a una regresión logística. El avance de las redes neuronales radica en la construcción de múltiples características complejas en una capa, y puede haber múltiples capas. La función de costo de la red neuronal es una generalización de la función de costo de la regresión logística. 

 

2. Fórmulas relevantes y representación vectorial

1) Función de costo :

Regresión logística:

red neuronal:

2) Representación yi de salida de múltiples clases: vector

 

 

3. Ejemplo simple (python / matlab, marco de código abierto)

1) AND, (NOTx1) AND (NOTx2), OR => XNOR [Ejemplos simples ilustran la construcción de características complejas]

2) Escribir reconocimiento de número

3) Visión por computadora para identificar diferentes objetos en la carretera (peatones, motocicletas, automóviles, camiones grandes) [problemas de clasificación múltiple]

 

Materiales de referencia:

1. Sitios web, videos y notas relacionados con el aprendizaje automático de Wu Enda

https://www.coursera.org/learn/machine-learning, materiales de aprendizaje automático de Stanford

2. Derivación de la pizarra de red neuronal de alimentación directa en la estación B

Supongo que te gusta

Origin www.cnblogs.com/feynmania/p/12740229.html
Recomendado
Clasificación