[Perceptrón] La forma original del algoritmo de aprendizaje del perceptrón

El perceptrón es un modelo de clasificación lineal para la clasificación de dos clases: su entrada es el vector de características de la instancia y la salida es la categoría de la instancia, tomando valores binarios de +1 y -1. El perceptrón corresponde a un hiperplano de separación que divide instancias en categorías positivas y negativas en el espacio de entrada (espacio de características) y es un modelo discriminante. El perceptrón es la base de la red neuronal y la máquina de vectores de soporte.

El aprendizaje con perceptrones tiene como objetivo encontrar el hiperplano de separación que divide linealmente los datos de entrenamiento.

Ideas de aprendizaje de perceptrones:

1. Importe la función de pérdida basada en una clasificación errónea

2. Utilice el método de descenso de gradiente para minimizar la función de pérdida.

3. Sustituya los parámetros para obtener el modelo de perceptrón.

Clasificación de algoritmos de aprendizaje de perceptrones:

Forma primitiva, forma dual.

Algoritmo: la forma original del algoritmo de aprendizaje del perceptrón

Entrada: conjunto de datos de entrenamiento $T=\{(x_1,y_1),(x_2,y_2),\cdots,(x_N,y_N)\}$ , donde $x_i\in\mathcal{X}=\mathbb{R}^n,$ $y_i\in\mathcal{Y}=\{-1,+1\}$ ,; $\:i=1,2,\cpuntos,N$ tasa de aprendizaje $\y\left(0<\y\leqslant1\right)$ ;

Salida: $w, b$ ;Modelo de perceptrón $f(x)=\mathrm{signo}(w\bullet x+b)$

1) Seleccione el valor inicial $w_0,b_0$ ;

2) Seleccionar datos en el conjunto de entrenamiento $(x_i,y_i)$ ;

3) Si $y_i(w\cdot x_i+b)\leq 0$ ,

$\begin{aligned}w&\leftarrow w+\eta y_ix_i\\b&\leftarrow b+\eta y_i\end{aligned}$

4) Vaya a 2) hasta que no haya puntos de clasificación errónea en el conjunto de entrenamiento.

El algoritmo utiliza un descenso de gradiente estocástico:

Primero, seleccione arbitrariamente un hiperplano y luego utilice el método de descenso de gradiente para minimizar la función de pérdida. El proceso de minimización no consiste en reducir el gradiente de todos los puntos mal clasificados a la vez, sino en seleccionar aleatoriamente un punto mal clasificado cada vez para reducir el gradiente.

Suponiendo que el conjunto de puntos M mal clasificados es fijo, $L(w,b)=- \underset{x_i\in M}{\sum } y_i (w\cdot x_i+b )$ el gradiente de la función de pérdida es:

$\bigtriangledown_wL(w,b)=-\underset{x_1\in M}{\sum}y_ix_i$

$\bigtriangledown_bL(w,b)=-\underset{x_1\in M}{\sum}y_i$

Para cierto punto $(x_i,y_i)$ , $w$ el gradiente $-y_ix_i$ está en dirección creciente, por lo que $w\leftarrow w+\eta y_ix_i$ la función de pérdida disminuye.

Comprensión del algoritmo : cuando un punto de instancia está mal clasificado, los valores de w y b se ajustan para mover el hiperplano de clasificación a un lado del punto mal clasificado, reduciendo la distancia entre el punto mal clasificado y el hiperplano hasta que el hiperplano cruza los puntos mal clasificados. para que queden correctamente clasificados

[Perceptrón] La forma original del algoritmo de aprendizaje del perceptrón

Algoritmo: la forma original del algoritmo de aprendizaje del perceptrón

Supongo que te gusta