1. Conceptos relacionados
Neural Network (Neural Network) es esencialmente un clasificador no lineal (que puede ser de dos clases o de múltiples clases), que es adecuado para altas dimensiones de características de muestra y tiempo compartido no lineal.
[La salida final de la red neuronal es una función de predicción no lineal compleja, visualizada como un límite no lineal complejo en un espacio de alta dimensión]
[El proceso de entrenamiento de la red neuronal consiste en ajustar los parámetros de peso de acuerdo con las muestras de entrada (xi, yi), y el resultado final del entrenamiento modelo es obtener el peso del parámetro de peso]
Diagrama esquemático de límite no lineal
Diagrama esquemático de la red neuronal de propagación directa simple
Arquitectura de red neuronal (arquitectura): capa de entrada, capa oculta (1 o más capas), parámetros relacionados con la capa de salida
Capa de entrada: características de muestra
Capas ocultas: características complejas construidas por funciones no lineales
Capa de salida: resultados de clasificación [si es una función sigmoidea, emite un valor de probabilidad que pertenece a una determinada categoría. 】
Sesgo: además de la capa de salida, tanto la capa de entrada como la capa oculta tienen un término de sesgo a0.
Matriz de coeficientes de peso (pesos / matriz de parámetros): tenga en cuenta que la dimensión es (S j + 1 x S j +1).
Función de excitación (función de activación): una función no lineal aplicada en una red neuronal: puede ser relu (), sigmoide () ... [sigmoide también se denomina función logística]
[La conexión entre el modelo de red neuronal y la regresión logística: cuando la función utilizada es una función sigmoidea, el cálculo de una sola neurona en la capa j + 1 es equivalente a una regresión logística. El avance de las redes neuronales radica en la construcción de múltiples características complejas en una capa, y puede haber múltiples capas. La función de costo de la red neuronal es una generalización de la función de costo de la regresión logística.
2. Fórmulas relevantes y representación vectorial
1) Función de costo :
Regresión logística:
red neuronal:
【】
2) Representación yi de salida de múltiples clases: vector
3. Ejemplo simple (python / matlab, marco de código abierto)
1) AND, (NOTx1) AND (NOTx2), OR => XNOR [Ejemplos simples ilustran la construcción de características complejas]
2) Escribir reconocimiento de número
3) Visión por computadora para identificar diferentes objetos en la carretera (peatones, motocicletas, automóviles, camiones grandes) [problemas de clasificación múltiple]
Materiales de referencia:
1. Sitios web, videos y notas relacionados con el aprendizaje automático de Wu Enda
https://www.coursera.org/learn/machine-learning, materiales de aprendizaje automático de Stanford
2. Derivación de la pizarra de red neuronal de alimentación directa en la estación B