Ejemplos concretos de aprendizaje automático en la vida real (Seminario de aprendizaje automático 2)

Sitio del autor: Qiuma Records

Ejemplos del mundo real de aprendizaje automático

A través de la explicación del artículo anterior, entendemos 机器学习un poco (aprendizaje automático) y, al mismo tiempo, ya 机器学习no nos resistimos tanto al término (aprendizaje automático).

Entonces, ¿ 机器学习qué problemas nos resuelve en la vida real? O actualmente es imposible de lograr con soluciones tradicionales.

• 1. Puede analizar imágenes de productos en la línea de producción y clasificarlas. Esto cae dentro de 图像分类la categoría, generalmente usando 卷积神经网络(CNN) o Transformer.

• 2. Puede usarse para detectar si hay un tumor en el cerebro. Es decir 图像语义分割, se clasifica cada píxel de la imagen (porque queremos determinar la ubicación exacta y la forma del tumor), normalmente utilizando 卷积神经网络(CNN), o Transformer.

• 3. Clasificación automática de artículos periodísticos. Esto entra en 自然语言处理la categoría de (PNL), más específicamente debería ser 文本分类. Aunque se puede resolver usando 循环神经网络(RNN) y , obviamente el efecto de procesamiento es mejor.卷积神经网络Transformer

• 4. Marcar automáticamente los comentarios maliciosos. Esta es también 文本分类la categoría y la solución también es NLPla herramienta elegida.

• 5. Resuma automáticamente documentos largos. ¿Es como leer un cuento y luego resumir de qué trata? O una trama. Esta es NLPuna rama de , llamada 文本摘要, que también utiliza NLPherramientas para su procesamiento.

• 6. Construya 聊天机器人o 个人助理. Esto involucra muchos NLPcomponentes, incluidos 自然语言理解(NLU) y 问答模块.

• 7. Predecir la rentabilidad de la empresa para el próximo año basándose en una gran cantidad de indicadores de desempeño. Esto pertenece a un 回归任务(es decir, valor predicho) que se puede resolver utilizando cualquier 回归模型(modelo de regresión), como modelos 线性回归(regresión lineal) y (regresión polinómica). 多项式回归Si considera una secuencia de métricas de desempeño anteriores, usaría RNN, CNNy Transformer.

• 8. La aplicación responde a comandos de voz. Es decir 语音识别, necesita procesar muestras de audio, que son secuencias largas y complejas, y generalmente se procesan usando RNN, CNNy .Transformer

• 9. Detectar fraudes con tarjetas de crédito. Esto pertenece 异常检测. Se pueden utilizar 隔离森林(bosques de aislamiento), 高斯混合模型(modelos de mezcla gaussiana) y (codificadores automáticos) 自动编码器.

• 10. Segmentar a los clientes según la situación de compra y luego elaborar diferentes estrategias de marketing para cada segmento de mercado. Esto es 聚类(agrupación) y se puede lograr usando k-means, DBSCANetc.

• 11. Utilice diagramas para representar conjuntos de datos complejos de alta dimensión. Esto 数据可视化generalmente está relacionado con 降维技术.

• 12. Recomendar productos interesados ​​según las compras anteriores de los clientes. Esto pertenece 推荐系统. Un enfoque es introducir compras pasadas (y otra información sobre el cliente) en la 人工神经网络(ANN) y hacer que genere la próxima compra más probable. Esta red neuronal normalmente se entrena en las secuencias de compra anteriores de todos los clientes.

• 13. Crea bots inteligentes para juegos. Esto a menudo se puede 强化学习resolver usando (RL), que es 机器学习una rama de , que entrena a un agente (por ejemplo, un bot) para elegir acciones que maximicen su recompensa a lo largo del tiempo (por ejemplo, un bot puede ganar una recompensa) cada vez que un jugador juega un determinado juego. Cuando se pierde algo de salud dentro de un entorno (como un juego). AlphaGoEl famoso programa que derrotó al campeón mundial de Go se RLcreó utilizando .

Por supuesto, esta lista de ejemplos podría seguir y seguir, pero es de esperar que le dé una idea 机器学习de la increíble amplitud y complejidad de las tareas que puede abordar y los tipos de técnicas que utilizará para cada una.

Tipos de sistemas de aprendizaje automático

机器学习Hay muchos tipos de sistemas, pero se pueden dividir a grandes rasgos en varias categorías según los siguientes criterios, pero es mucho más que eso.

• 1. La forma en que son supervisados ​​durante su capacitación se puede subdividir en, entre otros 监督, , 无监督, , 半监督etc.自我监督
• 2. Si es posible el aprendizaje incremental instantáneo durante su formación se puede dividir en 在线学习y 批量学习.
• 3. ¿Cómo funcionan simplemente comparando 新数据点y ? 已知数据点¿O funciona examinando patrones en los datos de entrenamiento y construyendo modelos predictivos? Esto se puede dividir en 基于实例的学习y 模型的学习.

Por supuesto, estos estándares no son fijos y siempre puedes combinarlos como quieras. ¡ 垃圾邮件过滤器Déjame explicarte! Puede 深度神经网络aprender dinámicamente utilizando un modelo (red neuronal profunda) que se 垃圾邮件entrena con datos de muestra y proporcionados por humanos, lo que lo convierte en un sistema 在线de aprendizaje 基于模型eficiente 监督.

supervisión de entrenamiento

机器学习El sistema se puede dividir según 监督数量las sumas recibidas durante la formación . 类型Hay muchas categorías, pero por ahora solo se tratan Hablar , 监督, 无监督y 自我监督Aprender .半监督强化

Aprendizaje supervisado

En 监督学习, la solución proporcionada al algoritmo, 训练集incluida la solución deseada, se denomina 标签.

El filtro de spam está entrenado en muchos correos electrónicos y su clasificación (spam), y debe aprender a clasificar el correo nuevo.

También es posible predecir el valor objetivo en función de un grupo 特征(kilometraje, edad, marca, etc.). Para la formación, es necesario proporcionarle muchos ejemplos de automóviles, incluidas sus características y precios. Esta tarea se llama 回归.

Nota: Algunos 回归模型también se pueden utilizar para clasificación y viceversa. 逻辑回归(regresión logística) se utiliza a menudo para la clasificación, ya que puede generar un valor correspondiente a la probabilidad de una clase determinada (por ejemplo: 20 % de probabilidad de spam).

回归问题: Dada una característica de entrada, predice un valor (generalmente hay múltiples características de entrada, a veces múltiples valores de salida).

Aprendizaje sin supervisión

En 无监督el aprendizaje 训练数据no es necesario 标记. El sistema intenta aprender sin profesor.

Suponiendo que tiene muchos datos sobre los visitantes de su blog, es posible que desee ejecutar 聚类算法para intentar detectar grupos de visitas similares. Y nunca le dices 算法a Access a qué grupo pertenece, puede encontrar estos enlaces sin tu ayuda. Podrías notar que el 40% de tus visitantes son adolescentes a quienes les gustan los cómics y generalmente leen tu blog después de la escuela, mientras que el 20% son adultos a quienes les gusta la ciencia ficción y lo visitan los fines de semana. Si utiliza 层次聚类算法un (algoritmo de agrupación jerárquica), también puede subdividir cada grupo en grupos más pequeños, lo que puede ayudarle a orientar sus publicaciones a cada grupo.

(conjunto de entrenamiento sin etiquetar para aprendizaje no supervisado)

(agrupación)

可视化算法También un 无监督学习buen ejemplo. Les proporciona grandes cantidades de datos complejos y sin etiquetar, y pueden generar fácilmente una representación 2D o 3D de los datos trazados. Estos algoritmos intentan preservar la mayor estructura posible (por ejemplo, intentan evitar que grupos separados en el espacio de entrada se superpongan en la visualización), para que pueda comprender cómo se organizan los datos y posiblemente identificar patrones inesperados.

Una tarea relacionada 降维, donde el objetivo es simplificar datos sin perder demasiada información. Una forma de lograrlo es 特征combinar múltiples correlaciones en una. Por ejemplo, el kilometraje de un automóvil puede estar estrechamente relacionado con su antigüedad, por lo que 降维算法se combinan en una única representación del desgaste del automóvil 特征, llamada 特征提取.

Por lo general, es una buena idea intentar reducirlo antes de pasarlo 训练数据a otro algoritmo de aprendizaje automático (por ejemplo 监督学习算法) . Se ejecutará más rápido, los datos ocuparán menos espacio en disco y memoria y, en algunos casos, también puede funcionar mejor.降维算法训练数据维数

异常检测También uno 无监督任务. Por ejemplo, detectar transacciones inusuales con tarjetas de crédito para evitar fraudes, detectar defectos de fabricación o eliminar automáticamente valores atípicos de un conjunto de datos antes de introducirlos en otro algoritmo de aprendizaje. Al sistema se le muestran principalmente instancias normales durante el entrenamiento, por lo que aprende a reconocerlas; luego, cuando ve una nueva instancia, puede decir si parece una instancia normal o si puede haber una anomalía.

Una tarea muy similar 新颖性检测: tiene como objetivo detectar 训练集nuevas instancias que se ven diferentes de todas las instancias en . Esto debe estar muy "limpio" para cualquier instancia 训练集que desee 算法detectar. Por ejemplo, si tienes miles de fotografías de perros y el 1% de ellas representan chihuahuas, 新颖性检测算法no debes considerar nuevas fotografías de chihuahuas 新颖性. Por otro lado, 异常检测算法se podría argumentar que estos perros son tan raros y tan diferentes de otros perros que podrían clasificarlos como 异常(sin ofender a los chihuahuas).

(detección anormal)

关联规则学习(aprendizaje de reglas de asociación) es uno común 无监督任务cuyo objetivo es extraer grandes cantidades de datos y descubrir relaciones interesantes entre atributos. Por ejemplo, supongamos que usted es dueño de un supermercado. Realizar un registro de ventas 关联规则podría revelar que las personas que compran salsa BBQ y patatas fritas también tienden a comprar bistec. Por lo tanto, es posible que desee colocar estos elementos uno cerca del otro.

Aprendizaje semisupervisado

Dado que 标记数据suele llevar mucho tiempo y ser costoso, normalmente tendrás 大量未标记instancias y muy pocas instancias de etiquetado. Algunos algoritmos pueden manejar datos parcialmente etiquetados. Esto se llama 半监督学习.

En la figura, con dos clases (triángulo y cuadrado) 半监督学习: un ejemplo sin etiquetar (círculo) ayuda a clasificar una nueva instancia (cruz) como una clase de triángulo en lugar de una clase de cuadrado, aunque esté más cerca del cuadrado etiquetado.

Por ejemplo, algunos servicios de alojamiento de fotografías (Google Photos), al subir fotos al servicio, reconoce automáticamente que aparece la misma persona A en las fotos 1, 5 y 11 y otra persona B aparece en las fotos 2, 5 y 7 del medio. . Esta es 无监督la parte del algoritmo (agrupación). Ahora todo lo que el sistema necesita es que usted le diga quiénes son estas personas. Simplemente agregue uno para cada persona 标签y nombrará a cada persona en cada foto, lo cual es útil para buscar fotos.

La mayoría de 半监督学习los algoritmos son combinaciones de 无监督y 监督algoritmos. Por ejemplo, se podría utilizar un algoritmo 聚类para agrupar instancias similares 聚类y 标签luego etiquetar cada instancia con la más común de ellas 未标记. 数据集Una vez cubierto el conjunto , 标记se puede utilizar cualquier 监督学习algoritmo .

Aprendizaje autosupervisado

机器学习El otro enfoque en realidad implica comenzar desde una construcción 未标记completa . Nuevamente, se puede utilizar cualquier algoritmo una vez que se identifica la totalidad . Este método se llama . Por ejemplo, si tiene una gran cantidad de imágenes , puede enmascarar aleatoriamente una pequeña porción de cada imagen y luego restaurar la imagen original. Durante el entrenamiento, usado como , usado como .数据集完全标记数据集数据集标记监督学习自我监督学习未标记数据集训练模型蒙版图像模型的输入原始图像标签

(Se ingresa la imagen de la izquierda, se emite la imagen de la derecha)

El modelo resultante puede ser muy útil en sí mismo, por ejemplo, 修复损坏para eliminar una imagen o eliminar objetos no deseados de una imagen. Pero a menudo, utilizar 自我监督学习el modelo entrenado no es el objetivo final. A menudo es necesario ajustar y ajustar el modelo para una tarea ligeramente diferente (la que realmente le interesa).

Suponiendo que lo que realmente deseas es tener uno 宠物分类模型: ante una fotografía de cualquier mascota, te dirá a qué especie pertenece. Si tiene una gran colección 未标记de fotografías de mascotas 数据集, puede comenzar 自我监督学习entrenando un 修复modelo de imagen con . Una vez que se porte bien, debería ser capaz de distinguir entre diferentes especies de mascotas: cuando tenga 修复la imagen de un gato con la cara cubierta, debe saber que no debe añadir la cara de un perro.

Suponiendo que la arquitectura de su modelo lo permita (y la mayoría 神经网络lo permite), es posible modificar el modelo para que aborde 预测especies en lugar de 修复imágenes. El último paso implica ajustar el modelo: el modelo ya sabe cómo son los gatos, los perros y otras especies de mascotas, por lo que este paso solo es necesario para que el modelo pueda aprender el mapeo entre 标记``````数据集lo que ya sabe sobre la especie y lo que ya sabe sobre la especie. lo que esperamos de él.标签

Transferir conocimiento de una tarea a otra 迁移学习es 机器学习una de las técnicas más importantes hoy en día, especialmente cuando se utiliza 深度神经网络(es decir, 神经元se compone de múltiples capas 神经网络).

自监督学习Algunos lo consideran 无监督学习una parte porque lo maneja 未标记por completo 数据集. pero 自我监督学习se usa (genera) durante el entrenamiento 标签, por lo que está más cerca en ese sentido 监督学习. 无监督学习Generalmente se usa para tareas como procesamiento 聚类, 降维o 异常检测, 自我监督学习mientras se enfoca en 监督学习las mismas tareas que y: principalmente 分类y 回归. En resumen, es mejor 自我监督学习considerarlo como una categoría separada.

Aprendizaje reforzado

强化学习es un tipo muy diferente 机器学习. 学习系统A lo que se refiere este artículo 代理, es posible observar el entorno, seleccionar y ejecutar acciones y ser recompensado (o castigado en forma de recompensas negativas). Luego, tiene que ser 自行学习lo mejor 策略(llamado 策略) para poder obtener el mayor retorno en el tiempo. Una política define qué acción debe elegir un agente en una situación determinada.

Por ejemplo, muchos 机器人emplean 强化学习algoritmos para aprender a caminar. DeepMindTambién es un buen ejemplo del AlphaGoprograma 强化学习: saltó a los titulares en mayo de 2017 cuando derrotó a Ke Jie, entonces número uno del mundo, en un partido de Go. Aprende su estrategia ganadora analizando millones de juegos y luego jugando muchos juegos contra sí mismo. Tenga en cuenta que el aprendizaje se desactiva durante los partidos contra el campeón; AlphaGosimplemente aplica la política que aprendió.

Sitio del autor: Qiuma Records