05 Aprendizaje supervisado - red neuronal

1. Modelo lineal

   Dada una entrada n-dimensional: $$X=[X_{},X_{},\dots ,X_{}{]}^t$$

   Un modelo lineal tiene un peso de n dimensiones y un sesgo escalar: $$w=[w_{},w_{},\dots ,w_{}{]}^T,b$$

   La salida es la suma ponderada de las entradas: $$y=w_{}{X}_{}+w_{}{X}_{}+\dots +w_{}{X}_{}+b$$ , representación vectorial:$$y=<w,X>+b$$

   1.1 Modelo lineal generalizado

   Además de hacer que el valor de predicción del modelo se aproxima directamente a la marca y del valor real, también podemos aproximarlo a la derivada de y, que es el modelo lineal generalizado (modelo lineal generalizado).

   $$y={gramo}^{-1}(w^{T}x+segundo)$$

   Entre ellas, g (.) se denomina función de enlace y debe ser monotónicamente diferenciable. Utilizando modelos lineales generalizados podemos lograr poderosas capacidades de mapeo de funciones no lineales. Por ejemplo, regresión log-lineal (regresión log-lineal), sea g (.) = In (.), el valor predicho del modelo en este momento corresponde al cambio de la marca del valor verdadero en la escala exponencial.

   1.2 Función sigmoidea

   $$\sigma \left(z\right)$$ representa una función logística de uso común (función logística) como función sigmoidea (función sigmoidea), entonces:

   $$\sigma \left(z\right)=gramo\left(z\right)=\frac{}{1+{mi}^{-z}},z=w^{T}x+b$$

   En conjunto, obtenemos la función de hipótesis para el modelo de regresión logística:
   $$L(y,y)=-yiniciarsesión\left(y\right)-(1-y)iniciarsesión(1-y)$$

2. Clasificación y regresión

3. modelo de perceptrón

   Modelo matemático de perceptrón de capa única: $$y=f(\sum _{yo=1}{w}_{}{X}_{}+segundo)$$

   Entre ellos, f se llama función de activación.

   En 1986, los científicos dirigidos por Rumelhart y McClielland propusieron el concepto de red neuronal BP (Back Propagation), que es una red neuronal de alimentación directa de múltiples capas entrenada de acuerdo con el algoritmo de retropropagación de errores, y actualmente es la red neuronal más utilizada.

   3.1 Datos de entrenamiento

• Recopile algunos puntos de datos para decidir los valores de los parámetros (ponderaciones y sesgos), como las casas vendidas en los últimos 6 meses. Esto se llama datos de entrenamiento. Por lo general, cuanto más, mejor Supongamos que tenemos n muestras, recuerde
  $$X=[X_{},X_{},\dots ,X_{}{]}^T$$，$$y=[y_{},y_{},\dots ,y_{}{]}^t$$

  3.2 Medición de la calidad de la estimación

  Compare valores reales y estimados, como precios de venta de viviendas y valores de tasación.

  Suponiendo que y es el valor real, $$y$$son estimaciones, podemos comparar:
  $$\ell (y,y)=\frac{}{2}(y-y{)}^{2Especifique}$$ una ecuación
  simple: l ( X , y , w , b ) = 1 2 n ∑ i = 1 n ( yi − ⟨ xi , w ⟩ − b ) 2 = 1 2 n ∥ y − X w − b ∥ 2 \ ell(\mathbf{X}, \mathbf{y}, \mathbf{w}, b)=\frac{1}{2n}\sum_{i=1}^n\left(y_i-\ left\angle\ mathbf{x}_i, \mathbf{w}\right\angle-b\right)^2=\frac{1}{2 n}\|\mathbf{y}-\mathbf{X}\ mathbf{w} -b\|^2
  
  $$\ell (X,y,w,segundo)=\frac{}{2norte}\sum _{yo=1}{\left(y_{}-⟨x{\_}_{},w⟩-segundo\right)}^2=\frac{}{2norte}\Vert y-xw-segundo{\Vert }^2$$
  Minimizar la pérdida para aprender los parámetros:
  $$w^{\ast },b^{\ast }=arg\_\underset{w,segundo}{}\ell (X,y,w,segundo)$$

  3.3 Descenso de gradiente

  • elija un valor inicial $$w_{}$$
  • Repetir parámetros de iteración t=1,2,3
    $$w_{}=w_{t-}-el\frac{\partial }{\partial w_{t-}}$$
  • A lo largo de la dirección del gradiente aumentará el valor de la función de pérdida.
  • Tasa de aprendizaje: un hiperparámetro para el tamaño del paso

优点:

1. Capaz de adaptarse y aprender de forma independiente. BP puede actualizar las reglas de acuerdo con los parámetros preestablecidos y, al ajustar continuamente los parámetros en la red neuronal, ha logrado el resultado más deseado.

2. Poseer una gran capacidad de mapeo no lineal.

3. La propagación hacia atrás del error adopta la regla de la cadena madura y el proceso de derivación es riguroso y científico.

4. La capacidad de generalización del algoritmo es muy fuerte.

缺点:

1. Hay muchos parámetros en la red neuronal BP y cada iteración necesita actualizar una gran cantidad de umbrales y pesos, por lo que la velocidad de convergencia es relativamente lenta.

2. No existe un criterio claro para el número de nodos contenidos en la capa oculta de la red, es necesario establecer continuamente el número de nodos a intentar componer y finalmente determinar el
número de nodos en la capa oculta de acuerdo con los resultados del error de red

3. El algoritmo BP es un algoritmo de descenso de gradiente más rápido, por lo que es fácil caer en el problema del mínimo local.

4. función de activación

En el modelo de aprendizaje profundo, generalmente estamos acostumbrados a pasar por una función de activación antes de que los resultados del cálculo de cada capa de red neuronal se envíen a la siguiente capa de red neuronal.

(1) Función Sigmod: $$f\left(x\right)=\frac{}{1+{mi}^{-x\_}}$$

(2)Tanh函数: $$\tanh \left(x\right)=\frac{{mi}^X-{mi}^{-x}}{({mi}^X+{mi}^{-x})}=2\ast sig\_modificación(2x)\_-1$$

(3) función relu: $$f\left(x\right)=\mathrm{máximo}(0,x)$$

5. Maldición de dimensión

El modelo de red neuronal puede aumentar o disminuir fácilmente la dimensión de los datos. A medida que aumenta el número de características, la densidad de la muestra disminuye. Si la dimensión continúa aumentando, se sobreajustará y no será adecuado para situaciones reales.

6. Desajuste y sobreajuste

   El sobreajuste y el desajuste se pueden definir mediante errores de entrenamiento y errores de generalización:

   训练误差: El error calculado por el modelo en el conjunto de entrenamiento.

   泛化误差: La expectativa del error del modelo cuando el modelo se aplica a un número infinito de muestras de datos también extraídas de la distribución de la muestra original.

   过拟合: El error de entrenamiento del modelo es pequeño, pero el error de generalización es grande

   欠拟合: El error de entrenamiento y el error de generalización del modelo son grandes

   Método de tratamiento de sobreajuste:
   (1) Regularización: regularización, pero al reducir el tamaño de los parámetros, puede mejorar o reducir el problema de sobreajuste
   (2) Mejora de los datos: se mejoran la calidad, cantidad y dificultad de los datos
   (3 ) Reducción de dimensionalidad: es decir, descartar algunas características que no pueden ayudarnos a predecir correctamente. Se puede seleccionar manualmente qué funciones conservar o se pueden utilizar algunos algoritmos de selección de modelos como ayuda.
   (4) Método de aprendizaje integrado: el aprendizaje integrado consiste en integrar varios modelos juntos para reducir el riesgo de sobreajuste de un solo modelo.

   Cómo lidiar con el sobreajuste:

   (1) Agregar nuevas características
   (2) Aumentar la complejidad del modelo
   (3) Reducir el coeficiente de regularización

7. Regular

La regularización en el aprendizaje profundo puede verse como una forma de prevenir el sobreajuste al limitar la complejidad del modelo. Primero, la complejidad del modelo está determinada por el tamaño de los parámetros del modelo y el rango de valores posibles de los parámetros. Por lo tanto, el método de regularización se divide aproximadamente en dos direcciones:
una dirección está dedicada a 约束模型参数量, como el abandono, y
la otra dirección está dedicada a 约束模型参数的取值范围, como la caída de peso.

权重衰减方法：
(1) Utilice la norma cuadrática media como límite estricto
para controlar la capacidad del modelo limitando el rango de selección de valores de parámetros:
$$\min \ell (w,b)$$ sujeto a$${\Vert w\Vert }^2\le \theta$$
generalmente no limita b

(2) Utilice la norma cuadrática media como límite flexible

Para cada $$\theta$$ , se puede encontrar$$\lambda$$ , de modo que la función objetivo anterior es equivalente a la siguiente fórmula:

$$\min \ell (w,segundo)+\frac{}{2}{\Vert w\Vert }^2$$

hiperparámetro $$\lambda$$ controla la importancia del término de regularización:

• $$\lambda$$ = 0 no tiene ningún efecto
• $$yo\to \infty ,w\ast \to 0$$

8. aumento de datos

9. estabilidad numérica

Este problema de inestabilidad numérica se llama suma en el 梯度消失proceso de entrenamiento de aprendizaje profundo 梯度爆炸.

Desaparición del gradiente: el fenómeno de que el gradiente se acerca a 0 debido a la multiplicación y el entrenamiento no progresa en este momento.

Explosión de gradiente: debido a la multiplicación, el resultado del cálculo excede el rango de datos que el tipo de datos puede registrar, lo que genera un error. La forma de prevenir la causa de la inestabilidad numérica es normalizar los datos.

Procesamiento de normalización de datos:

(1) Normalización (normalización máximo-mínimo): mapeo de datos al intervalo [0,1]

$$x\ast =\frac{X-X_{min}}{X_{ma}-X_{min}}$$

El propósito de la normalización de datos es hacer que la influencia de cada característica en la variable objetivo sea consistente, y los datos de la característica se escalarán y cambiarán, por lo que la normalización de datos cambiará la distribución de los datos de la característica.

(2) Estandarización de Z-Score: el valor medio de los datos procesados ​​es 0 y la varianza es 1

$$x\ast =\frac{X-}{pag}$$

Estandarización de datos Para tener comparabilidad entre diferentes características, la distribución de los datos de características después de la transformación estandarizada no ha cambiado.
Es decir, cuando el rango de valores o la unidad de la característica de datos es bastante diferente, es mejor realizar cierta estandarización.

10. Familia de redes neuronales

    1. CNN
    2. RNN
       • Análisis semántico sintáctico
       • recuperación de información
       • resumen automático
       • minería de datos de texto
       • respuesta automática a preguntas
       • máquina traductora
       • mapa del conocimiento
       • análisis de emociones
       • similitud de texto
       • corrección de errores de texto
    3. GNN
       • diseño de chips
       • Análisis de escenarios y razonamiento de problemas.
       • Sistema de recomendación (retrato de usuario)
       • La detección de fraude está relacionada con el control de riesgos
       • mapa del conocimiento
       • Previsión del flujo del tráfico rodado
       • Conducción autónoma (UAV y otros escenarios)
       • Escenas químicas, médicas y otras.
       • Escenarios biológicos, farmacéuticos y otros.
       • Red social
    4. SIN EMBARGO
       • imagen súper resolución
       • creación artística
       • Traducción de imagen a imagen (transferencia de estilo)
       • Traducción de texto a imagen
       • edición de fotos
       • traducción de ropa
       • foto a emoji
       • fusión de fotos
       • Reparación de fotos