[Aprendizaje automático] Máquina de vectores de soporte SVM

La máquina de vectores de soporte implica varios problemas difíciles, como la programación lineal, la optimización convexa y el análisis de matrices. Esta es la tercera vez que la aprendo. Ahora parece que debe haber una cuarta y quinta vez en el futuro. Aprendizaje automático y aprendizaje profundo están básicamente separados de las máquinas de vectores de soporte, pero las ideas en ellas aún valen la pena reflexionar y reflexionar una y otra vez. Estudiar este tipo de cosas también me recuerda la importancia de la habilidad matemática en el camino académico.

(Puede haber muchas preguntas en este artículo, espero que me puedan corregir).

1. Conocimientos previos de matemáticas

1.1 Distancia del punto al plano

La discusión aquí no es solo bidimensional, sino también de alta dimensión:

Primero considere cómo se representa un plano, asumiendo que el vector unitario normal de un plano es $\omega$ , entonces cualquier punto en este plano debe satisfacer el producto interno del vector normal y la distancia h desde el origen hasta el hiperplano (porque el vector conectado por un punto en el plano y el origen se puede dividir en la dirección a lo largo de la normal vector y la dirección perpendicular al vector normal), por lo que se puede expresar como:
$\omega x = h$
generalmente se expresa como:
$\omega x + b = 0$
entonces cualquier punto $x_i$ La distancia a este plano es:
$\omega x_i-h = \omega x_i+b$
Por supuesto, asumimos que el vector normal es un vector unitario normal, si no es un vector unitario normal, la distancia debe ser la siguiente:
$\frac{\omega x_i+b}{|| \omega||}$
Tenga en cuenta que la distancia anterior puede ser positiva o negativa, y el signo más o menos indica en qué lado del hiperplano está.

1.2 Método del multiplicador de Lagrange

El método del multiplicador de Lagrange es el conocimiento aprendido en Cálculo 2, que se utiliza para resolver problemas de valores extremos bajo restricciones.

Primero veamos la solución a problemas de valores extremos con restricciones de igualdad, como el siguiente problema de optimización:
$\begin{array}{c} \min _{w} f(w) \\ \text { st } h_{i}(w)=0, \quad i=1, \ldots, l \end{matriz}$
La función objetivo es f(w) con las siguientes restricciones de igualdad. Usualmente la solución es introducir el operador Lagrangiano, aquí usa $\beta$ se usa para representar al operador, y la fórmula de Lagrange es
$\mathcal{L}(w, \beta)=f(w )+\sum_{i=1}^{l} \beta_{i} h_{i}(w)$
A continuación, solo se requiere la derivada parcial para resolver w.

Espere la oportunidad de agregarlo aquí.

2. Idea central:

2.1 Pensamiento

Encuentre el hiperplano para la clasificación, de modo que el punto más cercano al hiperplano esté lo más alejado posible del hiperplano .

Esta idea parece muy simple, pero utiliza muchos métodos y técnicas de optimización en la operación real, lo cual es bastante difícil.

3. Problema de espacio duro:

3.1 Objetivos de optimización y deformaciones básicas

Bueno, encontremos una manera de dividir los datos en los lados izquierdo y derecho del plano, y el valor de los datos es $x_i$ , etiquetado como $y_i$ , la distancia entre los datos y el plano es $d_i$ (De nuevo, d puede ser positivo o negativo). Pensamos que los puntos en el hiperplano d>0 deberían satisfacer y=1, y los puntos en d<0 deberían satisfacer y=-1. Entonces $d * y$ representa el valor absoluto de la distancia.

Sea el hiperplano $w^Tx+b=0$ , entonces nuestra idea central (hacer queel punto más cercano al hiperplanoesté lo más lejosdel hiperplano) se puede expresar de la siguiente manera

$\max \min_{i} \gamma_i=\frac{y_i *\left(w^{T} x_i+b\right) }{\|w\|_{2}}$
问题可以描述为：
$\begin{array}{l} \max \min \gamma_i=\frac{y_i *\left(w x_i+b\right )}{\|w\|_{2}}\\ \text { st } \quad y_{i}\left[\left(\mathbf{x}_{i} \cdot \mathbf{w}\right )+b\right] \geq d_{min}, \quad i=1,2, \cdots, l \\ \text { for } \quad\left(y_{1}, \mathbf{x}_{1 }\right), \cdots,\left(y_{l}, \mathbf{x}_{l}\right), y \in\{-1,1\} \\ \end{matriz}$

Administrador general $d_{min}$ dividir a un lado para obtener $w^{'}$ $b^{'}$ ,可以重写如下的约束：
$\begin{array}{l} \max \min \gamma_i=\frac{y_i *\left(w' x_i+b'\right)}{\|w'\|_{2}}\\ \text { st } \quad y_{i}\left[\left(\mathbf{x} _ {i} \cdot \mathbf{w'}\right)+b'\right] \geq 1, \quad i=1,2, \cdots, l \\ \text { para } \quad\left(y_ {1}, \mathbf{x}_{1}\right), \cdots,\left(y_{l}, \mathbf{x}_{l}\right), y \in\{-1,1 \} \\ \end{matriz}$
Se pueden imaginar consideraciones simples, debe haber una desigualdad en el valor límite que se convierte en una restricción de igualdad, y dado que min es para i, y $\gamma$ es irrelevante, por lo que el valor mínimo del numerador está restringido a ser 1 por la ecuación, y el propósito del problema es minimizar el denominador:

$\begin{array}{c} \max \frac{1}{\|w'\|_{2}}\\ \text { st } \quad y_{i}\left [\left(\mathbf{x}_{i} \cdot \mathbf{w'}\right)+b'\right] \geq 1, \quad i=1,2, \cdots, l \\ \text { para } \quad\left(y_{1}, \mathbf{x}_{1}\right), \cdots,\left(y_{l}, \mathbf{x}_{l}\right), y \in\{-1,1\} \\ \end{matriz}$

通常写成这样：
$\begin{array}{l} \min \Phi(\boldsymbol{w})=\frac{1}{2}(\boldsymbol{ w} \cdot \boldsymbol{w}) \text { wrt } \boldsymbol{w} \\ \text { st } \quad y_{i}\left[\left(\mathbf{x}_{i} \cdot \mathbf{w}\right)+b\right] \geq 1, \quad i=1,2, \cdots, l \\ \text { para } \quad\left(y_{1}, \mathbf{x }_{1}\right), \cdots,\left(y_{l}, \mathbf{x}_{l}\right), y \in\{-1,1\} \\ \end{matriz }$

PD: Acerca de encontrar la función objetivo aquí, de hecho, hay una idea de comprensión más intuitiva en el curso del MIT (ver el curso del MIT en la referencia).

3.2 Lagrangianización del objetivo de optimización

Ahora haz la transformación equivalente de las restricciones: $1-y_{i}\left(w^{T} x_{i}+b\right) \leq 0$ , y luego use el método del número diario de Lagrange para construir la función Lagrangiana:
$\lambda)=\frac{1}{2} w^{T} w+\sum_{i=1}^{N} \lambda_{i}\left[1-y_{i} \ izquierda(w^{T} x_{i}+b\derecha)\derecha]$
Queremos usar $\lambda_{i} \geq 0$ ,去除去 (w, b) 中使 $y_{i}\left(w^{T} x_{i}+b\right)<1$ , el análisis es el siguiente:

若 $1-y_{i}\left(w^{T} x_{i}+b\right)>0$ , 则 ${}_{\lambda}^{\max } L(w, b, \lambda)=\frac{1 {2} w^{T} w+\infty=\infty$
若 $1-y_{i}\left(w^{T} x_{i}+b\right) \leq 0$ , 则 $}_{\lambda}^{\max } L(w, b, \lambda)= \frac{1}{2} w^{T} w+0=\frac{1}{2} w^{T} w$

从而, $\min _{w, b} \max _{\lambda} L(w, b, \lambda)=\min _{w, b}\left(\infty, \frac{1}{2} w^{T} w\right) =\min _{w, b} \frac{1}{2} w^{T} w$ , la condición $\lambda_{i} \geq 0$ _

Por lo tanto, el modelo restringido se transformará en un modelo sin restricciones para (w, b):
$\left\{\begin{array } {cc} \min _{w, b} \max _{\lambda} & L(w, b, \lambda) \\ \text { st } & \lambda_{i} \geq 1 \end{matriz} \ bien.$

3.3 Dualización lagrangiana

Por lo general, es más conveniente para nosotros encontrar el problema de minimización, es decir, la derivada es 0, por lo que convertimos la función lagrangiana anterior en su problema dual, es decir, min ⁡ \ $mín$ , $\ máx$ se invierte y se convierte en $\max$ 、 $\min$ . Hay una conclusión obvia, es decir, primero encuentre el valor mínimo para una secuencia y luego encuentre un valor máximo a entre todos los valores mínimos; primero encuentre el valor máximo para una secuencia y luego encuentre un valor mínimo b entre todos los valores valores máximos. $\leq b$ Asignación a los siguientes parámetros:
$\max _{\alpha, \beta, \alpha_{i} \geq 0} \min _{x} L(\mathbf{x}, \alpha, \beta) \leq \min _{x}\ max _ {\alpha, \beta, \alpha_{i} \geq 0} L(\mathbf{x}, \alpha, \beta)$
Esta relación a menudo se llama dualidad débil, y dualidad fuerte significa tomar el signo igual.
Debido a una serie de propiedades de esta función lagrangiana, se puede demostrar que la última relación funcional es en realidad un dual fuerte. (Tal vez solo después de que aprenda la optimización convexa y vuelva a comprender lentamente, llore y charle)

3.4 Optimización de problemas duales

Primero, 分 $\lambda$ se considera una solución constante, $L(\omega, b, \lambda)$ toma el valor mínimo $\left(\omega^{*}, b^{*}\right)$ , y luego para $\lambda$ para limitar, resuelve $\left(\omega^{*}, b^ {*}\right)$ 过程如下:
$\begin{alineado} \frac{\parcial L(\omega, b, \lambda)}{\parcial b} & = \frac{\parcial}{\parcial b}\left\{\frac{1}{2} w^{T} \omega+\sum_{i=1}^{N} \lambda_{i}\left[1 -y_{i}\left(w^{T} x_{i}+b\right)\right]\right\} \\ & =\frac{\parcial}{\parcial b}\left(-\sum_ {i=1}^{N} \lambda_{i} y_{i} b\right) \\ & =-\sum_{i=1}^{N} \lambda_{i} y_{i}\\ & =0 \end{alineado}$

令 $\frac{\parcial l}{\parcial b}=0$ 有 $\sum_{i=1}^{N} \lambda_{i} y_{i}=0$ L ( ω , b , λ ) L(\omega , $\lambda)$

$\begin{aligned} L (\omega, b, \lambda) & =\frac{1}{2} w^{T} \omega+\sum_{i=1}^{N} \lambda_{i}\left[1-y_{i }\left(w^{T} x_{i}+b\right)\right] \\ & =\frac{1}{2} w^{T} \omega+\sum_{i=1}^{N } \lambda_{i}-\sum_{i=1}^{N} \lambda_{i} y_{i} w^{T} x_{i}-\sum_{i=1}^{N} \lambda_ {i} y_{i} b \\ & =\frac{1}{2} w^{T} \omega+\sum_{i=1}^{N} \lambda_{i}-\sum_{i=1 }^{N} \lambda_{i} y_{i} w^{T} x_{i} \\ \frac{\parcial L_{(\omega, b,\lambda)}}{\parcial \omega} & =\frac{\parcial}{\parcial \omega}\left[\frac{1}{2} w^{T} \omega+\sum_{i=1} ^{N} \lambda_{i}-\sum_{i=1}^{N} \lambda_{i} y_{i} w^{T} x_{i}\right] \\ & =\frac{1 {2} \cdot 2 \omega-\sum_{i=1}^{N} \lambda_{i} y_{i} x_{i} \end{alineado}$

令 $\frac{\parcial l}{\parcial \omega}=0$ ω $\omega=\sum_{i=1}^{N} \lambda_{i} y_{i} x_{i}$ Sustituye en $l(\omega, b, \lambda)$ se obtiene:
$\begin{alineado} L(\omega, segundo,\lambda)&=\frac{1}{2}\left(\sum_{i=1}^{N} \lambda_{i} y_{i} x_{i}\right)^{T}\left( \sum_{i=1}^{N} \lambda_{j} y_{j} x_{j}\right)-\sum_{i=1}^{N} \lambda_{i} y_{i}\left (\sum_{i=1}^{N} \lambda_{j} y_{j} x_{j}\right)^{T} x_{i}+\sum_{i=1}^{N} \lambda_ {i}\\ &=\frac{1}{2} \sum_{i=1}^{N} \sum_{j=1}^{N} \lambda_{i} \lambda_{j} y_{i } y_{j} x_{i}^{T} x_{j}-\sum_{i=1}^{N} \sum_{1 j=}^{N} \lambda_{i} \lambda_{j} y_{i} y_{j} x_{j}^{T} x_{i}+\sum_{i=}^{N} \lambda_{j} \\ &=\sum_{i=1}^{N } \lambda_{i}-\frac{1}{2} \sum_{i=1}^{N} \sum_{j=1}^{N} \lambda_{i} \lambda_{j} y_{i } y_{j} x_{i}^{T} x_{j} \end{alineado}$
于是对偶问题优化模型为:
$\left\{\begin{array}{c} \max \sum_{i=1}^{N} \lambda_{i}-\frac{1}{2} \sum_ {i=1}^{N} \sum_{j=1}^{N} \lambda_{i} \lambda_{j} y_{i} y_{j} x_{i}^{T} x_{j} \\ calle . \lambda_{i} \geq 0, \text { para } \forall i=1,2, \cdots, N . \\ \sum_{i=1}^{N} \lambda_{i} y_{i}=0 \end{matriz}\right.$

4. Problema de margen blando

Si los datos son linealmente inseparables, entonces aumente el factor de relajación:
$\xi_{i} \geq 0$
hace que el intervalo de la función más la variable de holgura sea mayor o igual a 1, entonces la condición de restricción se convierte en
$y_{i}\left(w x_{i}+b\right) \ geq 1-\ xi_{i}$
La función objetivo, el último término, es hacer que esta relajación (error) sea lo más pequeña posible:
$\min_{w, b} \frac {1 }{2}\|w\|^{2}+C \sum_{i=1}^{N} \xi_{i}$
此时的凸优化为
$\begin{array}{c} \min _{w, b, \xi} \frac{1}{2}\|w\|^{2} +C \sum_{i=1}^{N} \xi_{i} \\ \text { st } \quad y_{i}\left(w x_{i}+b\right) \geq 1-\xi_ {i}, i=1,2, \cdots, n \\ \quad \xi_{i} \geq 0, i=1,2, \cdots, n \end{matriz}$
可以写出如下的拉格朗日函数：
$\begin{array}{l} L(w, b, \xi, \alpha, u)=\frac{1}{2 }\|w\|^{2}+C \sum_{i=1}^{n} \xi_{i}-\sum_{i=1}^{n} \alpha_{i}\left(y_{ i}\left(w x_{i}+b\right)-1+\xi_{i}\right)-\sum_{i=1}^{n} \beta_{i} \xi_{i}\\ \end{matriz}$

También por derivación podemos obtener el modo iterativo y las restricciones de los parámetros:
$\begin{array}{l} \frac{\parcial L}{\parcial w}=0 \Rightarrow w=\sum_{i=1}^{n} \ alfa_{i} y_{i} x_i \\ \frac{\parcial L}{\parcial b}=0 \Rightarrow 0=\sum_{i=1}^{n} \alpha_{i} y_{i} \ \ \frac{\parcial L}{\parcial \xi}=0 \Rightarrow C-\alpha_{i}-\beta_{i}=0 \end{array}$
由KKT条件：
$\alpha_{i}\left(y_{i}\left(w x_{i}+b\right)-1+\ xi_{i}\derecha) = 0$

因为
$y_{i}\left(\left(\boldsymbol{w} \cdot \boldsymbol{x}_{\boldsymbol{i}}\right)+ b\right) \geq 1-\xi_{i}$
Predeterminado $\alpha_{i} \neq$ solo se puede establecer para muestras correctamente clasificadas y ubicadas en el límite, es decir:

$\begin{array}{l}y_{i}\left(\left(\boldsymbol{w} \ cdot \boldsymbol{x}_{\boldsymbol{i}}\right)+b\right)=1-\xi_{i} \\ 0 \leq \alpha_{i} \leq C, \quad \xi_{i }=0\end{matriz}$
Muestras mal clasificadas
$\alpha_{i}=C, \quad \xi_{i}>0$ $\left\{\begin{array}{c} \sum_{i=1}^{$
norte
$⎩ ⎨ \sum_{yo = 1} (C - a - b) = 0 a \geq 0 b \geq$
故
$\leq \alpha_{i} \leq C$
将
$\boldsymbol{w}_{0}=\sum_{SV s} \alpha_{i} y_{i} x_{i}, \quad \alpha_{ yo} \geq 0$
, ciclo, rango rango
$\begin{alineado} \max W(\bold symbol{\alpha})= & \sum_{i=1}^ {l } \alpha_{i}-\frac{1}{2} \sum_{i, j=1}^{l} \alpha_{i} \alpha_{j} y_{i} y_{j}\left (x_ {i} \cdot x_{j}\right) \\ & \text { st } \sum_{i=1}^{l} y_{i} \alpha_{i}=0 \\ 0 \leq & \alpha_ {i} \leq C, i=1.2, \ldots, l \end{alineado}$

Referencias:

curso:

ML Clase 20: Máquina de vectores de soporte (SVM) - YouTube
Derivación de pizarra en la estación b [Aprendizaje automático - Serie de derivación de pizarra (6) - Máquina de vectores de soporte SVM (Máquina de vectores de soporte)]
MIT 16. Aprendizaje: máquinas de vectores de soporte - YouTube

Blog: