aprendizaje profundo
Recomendación de aprendizaje:
1. Curso de aprendizaje profundo de Wu Enda: https://www.deeplearning.ai
2. Curso de aprendizaje profundo de Li Hongyi: busque a Li Hongyi directamente en la estación b 3. El "aprendizaje profundo" se conoce comúnmente como
Huashu https://github.com/exacity/deepinglearningbook-chinese . ejemplos vívidos
Clasificación de relaciones:
inteligencia artificial→aprendizaje automático→red neuronal artificial→aprendizaje profundo (relaciones contenidas en capas)
El marco de este artículo:
1. Neurona artificial
2. Perceptrón multicapa
3. Función de activación
4. Algoritmo de retropropagación
5. Función de pérdida
6. Inicialización de peso
7. Regularización
1. Neuronas artificiales
La figura es un diagrama esquemático de neuronas humanas y neuronas artificiales.
Red neuronal artificial: un gran número de neuronas artificialesMétodo de conexiónconstituidomodelo de aprendizaje automático
2. Perceptrón multicapa
Como se muestra en la figura, después de agregar varias capas ocultas, se convierte en un perceptrón multicapa.
3. Función de activación
(1) Deje que el perceptrón multicapa se convierta en un verdadero multicapa, de lo contrario, es equivalente a una capa.
(2) Introducir la no linealidad para que la red pueda aproximar cualquier función no lineal (teorema de aproximación universal)
Las propiedades que debe tener la función de activación:
1) Continua y derivable, por lo que es conveniente utilizar métodos de optimización numérica para aprender los parámetros de la red
2) La función de activación y sus derivadas deben ser lo más simples posible, lo que conduce a mejorar la eficiencia de los cálculos de la red.
3) El rango de valores de la función derivada de la función de activación debe estar dentro de un rango apropiado, de lo contrario afectará la eficiencia y estabilidad del entrenamiento.
Función de activación:
4. Retropropagación
Propagación hacia adelante: los datos de la capa de entrada comienzan, de adelante hacia atrás, los datos se transmiten gradualmente a la capa de salida.
Propagación hacia atrás: comienza la función de pérdida , desde atrás hacia adelante, el gradiente se pasa gradualmente a la primera capa.
Función de retropropagación: se utiliza para actualizar el peso para acercar la salida de la red a la etiqueta.
Función de pérdida: mide la diferencia entre la salida del modelo y la etiqueta real.
El principio de retropropagación: la regla de la cadena en cálculo.
Método de descenso de gradiente: el valor de peso se actualiza a lo largo de la dirección negativa del gradiente para reducir el valor de la función Gradiente
: un vector, la dirección es la dirección donde la derivada direccional obtiene el valor máximo
Tasa de aprendizaje: controla el tamaño del paso de actualización
5. Función de pérdida
Función de pérdida: mide la distancia entre la salida del modelo y la etiqueta verdadera.
Dos funciones de pérdida comunes: 1. MSE (error cuadrático medio) 2. CE (entropía cruzada)
Entropía de la información: describe la incertidumbre de la información.
6. Inicialización del peso
Inicialización del peso: asigne parámetros de peso antes del entrenamiento, y una buena inicialización del peso es propicia para el entrenamiento del modelo.
1. Inicialización de Xavier
2. Inicialización de Kaiming
7. Regularización
Regularización: reducirdiferenciaestrategia, entendida popularmente como paliativasobreajusteestrategia.
Función de pérdida: Pérdida
Función de costo: Costo
Función objetivo: Objetivo
Obj=Costo+Regularización
La regularización es un término regular, que es unarestricción。