[Machine Learning-0] Introducción, PLA

Prefacio

El aprendizaje automático es un producto inevitable del desarrollo de la investigación en inteligencia artificial hasta cierto punto, tiene una gran experiencia y muchas ramas desde la década de 1950 hasta la actualidad. En las últimas dos décadas, la capacidad de los humanos para recopilar y procesar datos ha mejorado enormemente, y existe una necesidad urgente de algoritmos con capacidades eficientes en el análisis de datos, y el aprendizaje automático ha surgido en respuesta a las necesidades de esta era. Aquí hay algunos libros de aprendizaje automático y conferencias importantes en campos relacionados, aprendizaje automático (Zhou Zhihua, Tsinghua University Press), aprendizaje de datos, métodos de optimización para aprendizaje automático a gran escala, ICML, ECML, ACML

Componentes del aprendizaje

Para el aprendizaje automático, en términos formativos, se puede dividir en entrada, salida, función objetiva, conjunto de datos y función de predicción.

Figura 1
Al observar el aprendizaje automático del proceso, podemos considerar el objeto que queremos abstraer la función como una caja negra , y un grupo de Ingrese los datos, obtenga la salida correspondiente y obtenga los datos de entrenamiento. A continuación, se selecciona el espacio de función de predicción y, de acuerdo con el algoritmo de aprendizaje, finalmente se selecciona la función de predicción del espacio de función.
Tenga en cuenta que en el aprendizaje automático, es posible que no conozcamos la información específica y el mecanismo interno de la función objetivo, y nuestro objetivo es aproximar la función objetivo, pero la función de predicción entrenada final aún puede ser completamente diferente de la función objetivo. las cosas en la

Figura 2
constituyen las dos partes del algoritmo final: el conjunto de funciones de predicción H, y el algoritmo de aprendizaje A se convierte en el modelo de aprendizaje (modelo de aprendizaje)

Perceptrón

Como su nombre lo indica, el perceptrón es la parte que juzga y percibe la entrada.
Por ejemplo, para un conjunto de vectores x = (x1, ..., xn), el perceptrón los pondera y los compara con el umbral, y finalmente hace un juicio sobre este conjunto de datos.

Figura 3
donde signo significa función simbólica

PLA

El algoritmo PLA es un algoritmo muy clásico en el aprendizaje automático. La premisa es que los datos que calculamos son linealmente separables, es decir, se pueden dividir por un hiperplano.
Primero, tenemos un vector de peso w, y el perceptrón calcula la

Figura 4 para
obtener El conjunto de entrenamiento (x1, y1), ..., (xn, yn), y pertenece a {1, -1}, y luego encontramos que el valor calculado por algunos perceptrones es diferente del correspondiente y, para ejemplo, en un sistema de coordenadas rectangulares El punto en el eje x es 1, de lo contrario es -1, y el resultado se juzga como -1 en el eje x. Entonces necesita ser ajustado, es decir, para modificar el vector de peso w.

Figura 5,
por ejemplo, debajo de la línea recta El punto es -1. Como resultado, un punto debajo se considera +1. Es decir, está por encima de la línea recta, luego, después de actualizar w, es equivalente a rotar la línea recta en sentido antihorario, de modo que este punto esté debajo de la línea recta.

Figura 6
De esta manera, solo necesitamos seleccionar el punto equivocado e iterar el PLA uno por uno para obtener la línea recta.
Nota: Separabilidad lineal garantiza que el PLA eventualmente se detendrá, en lugar de cambiar el vector de peso w, habrá nuevos juicios erróneos. Punto
Si desea ver pruebas y derivaciones más detalladas, consulte https://www.cnblogs.com/HappyAngel/p /3456762.html

Tipos de aprendizaje automático

En la actualidad, el alcance del aprendizaje automático es muy amplio, todo tipo de palabras nuevas, pero se reconoce que el aprendizaje automático se puede dividir en dos categorías: aprendizaje supervisado (aprendizaje supervisado), aprendizaje no supervisado (aprendizaje no supervisado) en el
que se encuentra el aprendizaje supervisado. dada la entrada de muestra y lo que esperan Salida, y luego aprender una manera de conectar la entrada y la salida. Por otro lado, el aprendizaje no supervisado no da etiquetas, lo que permite que la máquina encuentre la estructura interna de la entrada. La clasificación y la regresión son representantes de la primera, mientras que la agrupación es representativa de la última.

La tarea final de aprendizaje (tareas de aprendizaje)

Al final, las tareas que el aprendizaje automático quiere lograr se pueden dividir en clasificación, regresión, agrupamiento, estimación de densidad y reducción de dimensionalidad.
Clasificación: la entrada se divide en dos o más clases, y el alumno debe generar una. El modelo asigna entradas invisibles a una (o más etiquetas) o más de estas clases. Esto generalmente se maneja bajo supervisión. El filtrado de spam es un ejemplo de clasificación, donde la entrada es un mensaje de correo electrónico (u otro) y la clase es "spam" y
regresión "no spam" : también es una cuestión de supervisión, la salida es continua, no
agrupación discreta : Un conjunto de entradas que se agruparán. A diferencia de la clasificación, la información de estos grupos no se conoce de antemano
Estimación de densidad: Encuentre la distribución de la entrada en un espacio diferente
Reducción de dimensionalidad: Simplifique la entrada mapeando la entrada a un espacio de menor dimensión.

Métodos de aprendizaje

• Regresión
• Árboles de decisión
• k − medias
• Máquina de vectores de soporte
• Algoritmo a priori •
Algoritmo EM
• PageRank
• kNN
• Bayes ingenuo
• Redes neuronales (profundas)
• Métodos de descenso de
gradiente
• Métodos de gradiente en línea • Métodos de gradiente estocástico
• Método de Newton
• Cuasi método newton (BFGS)
• memoria limitada BFGS
• Descenso de coordenadas
• Métodos de dirección alterna de multiplicadores
• Método de penalización, Lagrangiano aumentado
• Método de proyección de gradiente
• Método de umbral iterativo (IST)
• Método de gradiente condicional

para resumir

El aprendizaje automático tiene aplicaciones profundas en todos los aspectos y cubre solo una amplia gama, que incluye álgebra lineal, teoría de la probabilidad, etc. Se recomienda que primero aprenda los conocimientos matemáticos correspondientes antes de ingresar al pozo. Más adelante esta serie agregará más introducciones y explicaciones de partes teóricas.