[Máquina de vectores de soporte] Algoritmo de aprendizaje automático de vectores de soporte separables linealmente SVM: máquina de vectores de soporte para maximización de margen estricto y explicación detallada de ejemplos

Las máquinas de vectores de soporte (SVM) son un modelo de clasificación de dos clases. Su modelo básico es un clasificador lineal definido con el margen más grande en el espacio de características. Incluye máquinas de vectores de soporte linealmente separables, máquinas de vectores de soporte lineales y máquinas de vectores de soporte no lineales.

Cuando los datos de entrenamiento son linealmente separables, se aprende un clasificador lineal mediante la maximización de margen estricto, que es una máquina de vectores de soporte linealmente separable, también conocida como máquina de vectores de soporte de margen estricto.

Algoritmo de aprendizaje automático de vectores de soporte linealmente separables

Entrada: conjunto de datos de entrenamiento linealmente separable $T=\{(x_1,y_1),(x_2,y_2),\cdots,(x_N,y_N)\}$ , donde $x_i\en$ ${\cal X}={\mathbf{R}}^{n}\:,\quad{\gamma_{i}}\in{\cal Y}=\{-1,+1\}\:, \quad i=1,2,\cdots,N\:;$

Salida: margen máximo que separa el hiperplano y la función de decisión de clasificación

1) Construir y resolver problemas de optimización restringida.

$\begin{array}{ll}{\min_{w,b}}&{\frac{1}{2}\parallel w\parallel^{2}}\\{\mathrm{st}}&{y_ {i}(w{\bullet}x_{i}+b)-1\geqslant0,\quad i=1,2,\cdots,N}\\\end{array}.$

obtener la solución óptima $w^{*},b^{*}$

Minimizar la norma vectorial con restricciones

2) Sustituir la solución óptima,

Obtenga el hiperplano de separación:

$w^{*}\cdot x+b^{*}=0$

Función de decisión de clasificación:

$f(x)=\mathrm{signo}(w^{*}\cdot x+b^{*})$

ejemplo

Conjunto de datos de entrenamiento: puntos de ejemplo positivos $x_{1}=(3,3)^{\mathrm{T}},\quad x_{2}=(4,3)^{\mathrm{T}}$ , puntos de ejemplo negativos $x_{3}=(1,1)^{\mathrm{T}}$ , búsqueda del hiperplano de separación máxima, función de decisión de clasificación y vector de soporte

desatar:

1) Construir y resolver problemas de optimización restringida.

$\begin{aligned} &\operatorname*{min}_{w,b} \frac{1}{2}({w_{1}}^{2}+{w_{2}}^{2}) \\\\&\mathbf{st} \\ &\mathbf{} 3w_{1}+3w_{2}+b\geqslant1 \\ &4w_{1}+3w_{2}+b\geqslant1 \\ &-w_ {1}-w_{2}-b\geqslant1 \end{alineado}$

obtener la solución óptima $w_{1}=w_{2}=\frac{1}{2},\quad b=-2$

Resolver problemas de optimización requiere reducir el número de variables.

2) Sustituir la solución óptima,

Obtenga el hiperplano de separación:

$\frac{1}{2}x^{(1)}+\frac{1}{2}x^{(2)}-2=0$

Función de decisión de clasificación:

$f(x)=\mathrm{signo}(\frac{1}{2}x^{(1)}+\frac{1}{2}x^{(2)}-2)$

Vector de soporte: $x_ {1} = (3,3) ^ {\ mathrm {T}}$ , $x_{3}=(1,1)^{\mathrm{T}}$

El vector de soporte es el punto en el que se establece el signo de igualdad de la condición de restricción, es decir, $y_{i}(w{\bullet}x_{i}+b)-1= 0$ el punto en el que se cumple