Aprendizaje profundo - Máquina de vectores de soporte (SVM)

1. Introducción
En el campo del aprendizaje automático, SVM (Support Vector Machine) es un modelo de aprendizaje supervisado, generalmente utilizado para el reconocimiento de patrones, clasificación (detección de valores atípicos) y análisis de regresión. En el algoritmo SVM, trazamos los datos en un espacio n-dimensional (n representa la cantidad de características de los datos) y luego encontramos un hiperplano que puede separar los datos en dos categorías. SVM generalmente solo $Se\; usa\; en\; problemas\; de\; clasificación\; binaria$ y no funciona bien para problemas de clases múltiples.
El algoritmo de aprendizaje de SVM es el algoritmo de optimización para resolver la programación cuadrática convexa. La idea básica del aprendizaje SVM$La\; idea\; básica\; es\; resolver\; el\; hiperplano\; de\; separación\; que\; puede\; dividir\; correctamente\; el\; conjunto\; de\; datos\; de\; entrenamiento\; y\; tener\; el\; mayor\; intervalo\; geométrico$ . Para conjuntos de datos linealmente separables, hay infinitos hiperplanos (es decir, perceptrones), pero el hiperplano de separación con el mayor intervalo geométrico es único.
SVM buscará el hiperplano divisorio que pueda distinguir las dos clases y maximizar el margen. Es mejor dividir el hiperplano, la perturbación local de la muestra tiene el menor impacto en ella, los resultados de la clasificación son los más sólidos y la capacidad de generalización a ejemplos no vistos es la más fuerte.
Para cualquier hiperplano, los puntos de datos a ambos lados del mismo tienen una distancia mínima (distancia vertical) y la suma de las dos distancias mínimas es el intervalo. Por ejemplo, el área con bandas formada por dos líneas de puntos en la figura siguiente es el margen, y la línea de puntos está determinada por los dos puntos más cercanos a la línea continua central (es decir, determinada por el vector de soporte). Pero en este momento, el margen es relativamente pequeño, si usamos el segundo método para dibujar, el margen será más grande y más cercano a nuestro objetivo.


2. La diferencia entre SVM y KNN
Problema de clasificación KNN:$Determineel\; valor\; de\; Ky\; dibuje\; un\; círculo,\; y\; qué\; puntos\; están\; más\; cerca\; de\; qué\; tipo$

KNN no tiene proceso de entrenamiento. El principio básico es encontrar los valores de K que están más cerca de los puntos de muestra que deben predecirse en el conjunto de datos de entrenamiento (se pueden usar distancias como la distancia euclidiana, el valor de K debe ajustarse usted mismo) para lograr la clasificación.
Problema de clasificación SVM:$Encuentre\; el\; límite\; de\; decisión\; y\; divida\; los\; datos.$
SVM necesita un hiperplano wx+b para dividir el conjunto de datos (aquí, se puede dividir linealmente en un ejemplo), por lo que habrá un proceso de entrenamiento del modelo para encontrar los valores de w y b. Una vez que se completa el entrenamiento, se puede usar para la predicción.La etiqueta del punto de muestra x se determina de acuerdo con el valor de la función y=wx+b, y no es necesario considerar el conjunto de entrenamiento. Para SVM, primero se entrena un modelo en el conjunto de entrenamiento y luego este modelo se usa para clasificar directamente el conjunto de prueba.

Referencia:
Algoritmo de aprendizaje profundo 2-SVM Principio
Aprendizaje profundo SVM
Aprendizaje profundo - SVM
Aprendizaje profundo Lección 4 - SVM