1. Concepto
El aprendizaje automático consiste en descubrir ciertas leyes a través de datos históricos y usar estas leyes para tomar decisiones sobre escenarios futuros inciertos.
Aprendizaje automático vs análisis de datos
El análisis de datos es encontrar artificialmente reglas de datos históricos de transacciones para tomar decisiones.
El aprendizaje automático es el uso de algoritmos por parte de las máquinas para encontrar patrones en datos de comportamiento históricos y tomar decisiones.
Los datos de transacción son pequeños y los datos de comportamiento son masivos.
La precisión del análisis de datos depende principalmente de la capacidad del experto para analizar.
La precisión del aprendizaje automático depende principalmente de los datos históricos.
No importa cuán poderoso sea un experto, su juicio será unilateral y subjetivo.
Entonces, desde el análisis de datos hasta el aprendizaje automático, en realidad es el proceso de reemplazar a los expertos con datos.
Aprendizaje automático vs estadísticas
Estadísticas, análisis de muestreo de datos masivos, conclusiones, verificación inversa y optimización de conclusiones.
Aprendizaje automático, análisis completo de datos masivos y conclusiones.
Las estadísticas, las primeras debido a la gran cantidad de datos, no se pueden procesar en su totalidad, solo para usar el método de muestreo.
Con el aprendizaje automático, este problema se resuelve realmente.
Aprendizaje automático sin conexión versus aprendizaje automático en línea
La mayoría del aprendizaje automático está fuera de línea, como guardar un día de datos y el aprendizaje automático por lotes una vez por la mañana.
Escenarios comerciales especiales requieren aprendizaje automático en línea en tiempo real. Para estimular continuamente el modelo a través de nuevos datos, las recomendaciones de comercio electrónico son generalmente en tiempo real. Por ejemplo, si le gusta, siempre puede recomendar productos similares que acaba de buscar en la navegación posterior después de buscar un producto.
2. Aplicación del aprendizaje automático
Análisis de compras (algoritmo de regla de asociación)
Caso clásico: la cerveza y los pañales estadounidenses siempre se compran al mismo tiempo. Los comerciantes realizan la comercialización de paquetes correspondiente para aumentar las ventas.
Marketing de precisión (algoritmo de agrupamiento)
Las personas se dividen con precisión en diferentes categorías, y cada categoría lleva a cabo un marketing diferente.
Reconocimiento de spam (algoritmo Naive Bayes)
Identificar spam
Fraude de tarjeta de crédito (algoritmo de árbol de decisión)
Identificación del riesgo de crédito (capacidad de pago insuficiente y préstamos fraudulentos)
Publicidad en Internet (método de estimación previa de ctr, regresión logística lineal)
Estime la tasa de clics del usuario, como la búsqueda, para cada resultado que se muestre, evaluará la probabilidad de un clic del usuario y luego organizará la visualización de acuerdo con el tamaño de esta probabilidad, de modo que el punto más probable se clasifique primero.
Sistema de recomendación (algoritmo de filtrado colaborativo)
Sistema de recomendación de comercio electrónico, supongo que te gusta. Al recomendar algo que los usuarios puedan comprar, aumentar las ventas.
Procesamiento del lenguaje natural
El análisis de sentimientos, a través de los comentarios de una persona, analiza la posible personalidad de la persona y la clasifica.
Reconocimiento de entidades, extrayendo la información principal de un artículo, como los nombres de personas y lugares, para tratar de determinar una entidad.
Espera . .
Reconocimiento de imagen (aprendizaje profundo)
Reconocimiento facial, así como la función de Alipay de saber qué son las plantas
Otros
Reconocimiento de voz,
conducción automática,
reconocimiento de video,
control de gestos,
robot inteligente,
etc. . .
3. Clasificación de algoritmos comunes.
3.1 Clasificación por supervisión
y = f (x)
Aprendizaje supervisado: indique claramente a qué etiquetas pertenecen los datos, luego aprenda y finalmente obtenga el modelo.
Algoritmo de clasificación Algoritmo de
regresión
Aprendizaje no supervisado: no sé lo que quiero entrenar por adelantado
Algoritmo de agrupamiento
Aprendizaje semi-supervisado: también llamado aprendizaje de refuerzo, el efecto del entrenamiento no es bueno al principio y fortalece lentamente el modelo con el tiempo.
3.2 Clasificación por modelo
Genere el modelo (todo es bueno para discutir)
Con los modelos generativos, terminas con un parámetro de entrada y el modelo te dará la probabilidad de obtener resultados diferentes.
Modelo discriminante (blanco o negro)
Discrimina el modelo, el modelo final te dará una función, tú le darás los parámetros, él te dará los parámetros.
4. Rutinas de resolución de problemas de aprendizaje automático
4.1, determinar el objetivo
1. Determinar objetivos de acuerdo con las necesidades del negocio
2. Recopilar datos históricos
3. Hacer ingeniería de características (preprocesamiento de datos, limpieza, integración) para extraer características
Cuánto efecto puede lograr el modelo final, la mayoría de los factores dependen de qué tan bien se realice la ingeniería de características. Entonces la ingeniería de características es el paso más importante
4.2, modelo de entrenamiento
1. Defina el modelo: defina una fórmula, cada parámetro debe ser entrenado para obtener
2. Defina la función de pérdida: defina el tamaño de la desviación del resultado final y finalmente conozca la diferencia entre el resultado predicho y el resultado real con energía
3. Algoritmo optimizado: función de pérdida Toma el más pequeño
4.3 Evaluación del modelo
1. Validación cruzada
2. Evaluación del efecto
