Autor: Zen y el arte de la programación informática
1. Introducción
Con el desarrollo de la economía de plataformas de Internet, la popularización del comercio electrónico y la creciente demanda de integración en línea y fuera de línea, los escenarios de consumo en línea se han convertido cada vez más en un canal importante para el desarrollo de las empresas actuales. Debido al crecimiento del volumen y la complejidad de los datos, se ha vuelto crucial analizar y procesar de manera efectiva los datos de las transacciones de comercio electrónico. En general, existen ciertas limitaciones y deficiencias en el uso de métodos tradicionales de análisis estadístico. La tecnología de aprendizaje automático y minería de datos se está convirtiendo en una herramienta poderosa en la industria del comercio electrónico, que puede ayudar a las empresas a realizar análisis y toma de decisiones más precisos sobre los datos de los pedidos, aumentando así los ingresos.
La Minería de Datos es una disciplina informática que tiene como objetivo la obtención de información mediante el análisis, organización y procesamiento de grandes colecciones de datos. En el análisis de datos de transacciones de comercio electrónico, la minería de datos ayuda a descubrir patrones y utilizarlos con fines de análisis. Como en cualquier otro campo, el uso correcto de las herramientas de minería de datos puede proporcionar una comprensión integral e intuitiva del negocio y hacer que las decisiones comerciales de la empresa sean más científicas y confiables. Por lo tanto, para la gestión de pedidos de comercio electrónico, la minería de datos puede proporcionar las siguientes ventajas:
- Proporcionar más soporte de datos: la minería de datos permite a los usuarios descubrir el valor oculto en los datos y tomar decisiones informadas basadas en ellos;
- Información más rápida: a través de la minería de datos, los usuarios pueden obtener información valiosa en poco tiempo;
- Optimice las estrategias operativas: la minería de datos puede analizar patrones de transacciones que están en línea con los hábitos del usuario o las condiciones reales y ajustar las estrategias operativas en función de estos patrones;
- Reducir costos y riesgos: la minería de datos puede ayudar a las empresas a reducir costos, mejorar la eficiencia y reducir riesgos;
- Aumente el conocimiento de la marca: los diseños de productos o servicios distintivos están respaldados por datos enriquecidos.
En resumen, la minería de datos es una dirección de investigación prometedora en el campo de la gestión de transacciones de comercio electrónico.
2. Introducción a los antecedentes En las transacciones de comercio electrónico, recopilar, almacenar, procesar, analizar y presentar datos de pedidos se ha convertido en un vínculo importante. Para una plataforma de comercio electrónico, existen muchas formas de recopilar datos de pedidos, como pagos fuera de línea, pedidos en línea, etc. Además, se generará una gran cantidad de datos de pedidos en diferentes períodos de tiempo, y es posible que algunos datos aún estén en un estado semiacabado y necesiten más mejoras y organización antes de poder usarse. En este caso, es especialmente importante cómo analizar los datos de los pedidos de forma rápida y eficaz. Dado que los datos del pedido contienen una gran cantidad de información, incluida la hora, la ubicación, los productos, la cantidad, etc., el análisis de datos mediante un enfoque "multidimensional" también es un método más eficaz.
En la actualidad, la investigación sobre la gestión de pedidos en el comercio electrónico basada en el aprendizaje automático y la minería de datos se centra principalmente en tres aspectos:
- Análisis del retrato del usuario: analizando el comportamiento histórico, las preferencias, el poder adquisitivo, etc. del usuario, para predecir su intención e interés de compra, afectando así su toma de decisiones durante el proceso de compra;
- Sistema de recomendación de productos: realiza recomendaciones de productos personalizadas analizando el comportamiento histórico, las preferencias, las preferencias y la correlación entre productos de los clientes;
- Detección de anomalías en los pedidos: a través del análisis de características, análisis de conglomerados, etc. de los datos de los pedidos, descubra anomalías en los pedidos, pedidos fraudulentos, etc., y proceselos.
Entre ellos, el "análisis de retratos de usuarios" y la "detección de anomalías de pedidos" han logrado ciertos resultados, pero la investigación sobre el "sistema de recomendación de productos" está relativamente rezagada. En los últimos años, la aplicación de modelos basados en el aprendizaje profundo en el reconocimiento de imágenes, la comprensión de textos, el modelado de secuencias y otros campos se ha disparado gradualmente y se ha convertido en una tecnología clave en la gestión de pedidos del comercio electrónico.
3. Explicación de conceptos y términos básicos
Primero, necesitamos aclarar algunos conceptos básicos.
Conjunto de datos: un conjunto de datos generalmente se refiere a un conjunto de datos utilizados para entrenar o probar algoritmos de aprendizaje automático o realizar análisis predictivos. Por lo general, el conjunto de datos consta de múltiples variables (Característica) y etiquetas correspondientes (Etiqueta), es decir, el vector de características x y la etiqueta y. En el campo de la gestión de pedidos de comercio electrónico, los datos de los pedidos generalmente se ingresan en el modelo de aprendizaje automático como un conjunto de entrenamiento o un conjunto de prueba, y se obtienen los resultados de predicción correspondientes.
Ingeniería de funciones: la ingeniería de funciones se refiere a la construcción de nuevas funciones mediante el análisis de datos originales o funciones existentes para mejorar el rendimiento y el efecto del modelo. La ingeniería de funciones incluye selección de funciones, conversión de funciones, extracción de funciones, fusión de funciones, etc. La ingeniería de funciones en la gestión de pedidos de comercio electrónico generalmente se refiere a una serie de operaciones de preprocesamiento de datos, como la selección de funciones, la conversión de funciones y la extracción de funciones en los datos originales.
Clasificación: la tarea de clasificación se refiere al uso de etiquetas en los datos para dividir muestras de modo que las muestras del mismo tipo pertenezcan al mismo grupo y las muestras de diferentes tipos pertenezcan a diferentes grupos. En la gestión de pedidos de comercio electrónico, las tareas de clasificación suelen referirse a la clasificación automática, etiquetado, clasificación, etc. de los datos del pedido. Los algoritmos de clasificación suelen dividirse en tres tipos: aprendizaje supervisado, aprendizaje no supervisado y aprendizaje semisupervisado.
Evaluación del modelo: la evaluación del modelo se refiere a evaluar el efecto del modelo en función de los resultados de la predicción en el conjunto de datos de prueba. Los indicadores de evaluación de modelos comúnmente utilizados incluyen precisión, recuperación, puntuación F1, AUC-ROC, AUC-PR, etc. En la gestión de pedidos de comercio electrónico, la evaluación de modelos se refiere a evaluar el rendimiento de los modelos de aprendizaje automático en escenarios comerciales específicos.
Variables de valor continuo y variables de valor discreto: las variables de valor continuo se refieren a variables que se pueden ordenar en un orden numérico determinado, como precio, volumen de ventas, calificaciones, etc. Las variables de valor discreto se refieren a variables que no se pueden ordenar en un orden numérico determinado , como categoría, atributos, estantes, marcas, etc. En la gestión de pedidos de comercio electrónico, las variables de valor continuo comúnmente utilizadas incluyen precio, volumen de ventas, etc., mientras que las variables de valor discreto comúnmente utilizadas incluyen categoría de producto, categoría de tienda, método de pago, etc.
A continuación, presentamos estadísticas, procesamiento de datos, aprendizaje automático, aprendizaje profundo, sistemas de recomendación y otras tecnologías relacionadas que se utilizan comúnmente en el proceso de análisis de datos de pedidos.
4. Explicación de los principios básicos del algoritmo, pasos operativos específicos y fórmulas matemáticas.
A continuación presentamos los algoritmos comúnmente utilizados en el proceso de análisis de datos de pedidos.
Análisis de conglomeradosAnálisis de conglomerados
- Algoritmo k-means El algoritmo k-means es el algoritmo de agrupación más simple y clásico. Su idea central es dividir el conjunto de datos en k grupos, y cada dato solo puede pertenecer a uno de los grupos. Los pasos específicos de este algoritmo son los siguientes:
1) Seleccione aleatoriamente k centroides iniciales (centroides).
2) Calcule la distancia entre cada muestra y cada centroide para determinar a qué grupo pertenece.
3) Vuelva a calcular el centroide de cada grupo para que el centro del grupo se mueva hacia una distribución uniforme.
4) Repita el segundo y tercer paso hasta que el centro del clúster ya no cambie o se alcance el número máximo de iteraciones.
Finalmente, los datos se dividen en grupos para formar k subgrupos.
- Algoritmo DBSCAN DBSCAN es la abreviatura del algoritmo de agrupación espacial de aplicaciones con ruido basado en densidad (DBSCAN). El algoritmo es un algoritmo de agrupamiento de densidad capaz de identificar grupos de formas arbitrarias. Los pasos específicos son los siguientes:
1) Elija un umbral de vecindad circular ε.
2) Recorra todo el conjunto de datos y marque las muestras como puntos centrales, es decir, muestras que contienen al menos ε vecinos.
3) Para el punto central, busque los puntos vecinos circundantes. Si el número de puntos vecinos es menor que ε, se marca como punto de ruido.
4) Repita los pasos 2 y 3 hasta que todos los puntos de datos estén marcados.
5) Marque los puntos de ruido como ruido.
6) Agrupe los puntos centrales restantes en el mismo grupo.
Finalmente, los datos se dividen en varios clusters, donde el cluster donde se ubica el punto central tiene mayor densidad.
- Algoritmo KNN El algoritmo KNN (algoritmo K-vecinos más cercanos) es un algoritmo de clasificación. Su idea básica es encontrar los k puntos más cercanos al valor objetivo en el espacio de entrada y predecir el valor objetivo a través de las etiquetas de estos k puntos. Hay dos categorías principales de algoritmos KNN:
1) Algoritmo del vecino más cercano (LNN): compare el objeto a predecir con k muestras en su vecindad para determinar su categoría.
2) Algoritmo KNN basado en árboles (TNN): primero cree un árbol K-ary y luego use la estructura de árbol para hacer predicciones de clasificación.
Las ventajas del algoritmo KNN son simples y fáciles de entender, velocidad de ejecución rápida, gran adaptabilidad y sin ajuste de parámetros, la desventaja es que se ve fácilmente afectado por la perturbación de la muestra.
Regla de Asociación Minera Regla de Asociación Minera
- Algoritmo apriori El algoritmo apriori es un algoritmo comúnmente utilizado para la minería de reglas de asociación. Su idea básica es escanear secuencialmente el conjunto de transacciones en la base de datos, generar un conjunto de elementos candidatos cada vez y luego eliminar los elementos del conjunto de transacciones que no cumplan con el mínimo. soporte y, finalmente, generar todos los conjuntos de elementos frecuentes y fusionarlos para encontrar las reglas de asociación que satisfagan el nivel mínimo de confianza. Los pasos específicos son los siguientes:
1) Primero seleccione un soporte mínimo.
2) Escanee los conjuntos de transacciones en la base de datos y, para cada conjunto de transacciones, verifique si cumple con el soporte mínimo.
3) Si está satisfecho, cree un conjunto de elementos candidatos y continúe verificando si también satisface el soporte mínimo.
4) Si no hay elementos comunes entre los conjuntos de elementos candidatos de los dos conjuntos de transacciones, combine los dos conjuntos de transacciones para generar un nuevo conjunto de elementos candidatos.
5) Repita los pasos 3 a 4 hasta que todos los conjuntos de artículos candidatos ya no cumplan con el soporte mínimo.
6) Para todos los conjuntos de elementos candidatos que satisfacen el soporte mínimo, se generan todos los conjuntos de elementos frecuentes.
7) Para conjuntos de elementos frecuentes, verifique si cumplen con el nivel mínimo de confianza.
8) Si está satisfecho, genere una regla de asociación.
9) Repita los pasos 7 a 8 hasta que todas las reglas de asociación ya no cumplan con el nivel mínimo de confianza.
La desventaja del algoritmo Apriori es su alta complejidad temporal, pero es fácil de implementar y logra buenos resultados.
- Algoritmo de crecimiento FP El algoritmo de crecimiento FP es otro algoritmo de minería de reglas de asociación. Su idea básica es utilizar una función hash para codificar el conjunto de transacciones y contarlo en la tabla hash. Después de eso, el algoritmo de minería de conjuntos de elementos frecuentes basado en el recuento (FPGrowth de minería de conjuntos de elementos frecuentes) realiza la minería de reglas de asociación. Los pasos específicos son los siguientes:
1) Escanee la base de datos en busca de conjuntos de transacciones y codifíquelos con hash.
2) Para cada valor hash, establezca una lista de transacciones.
3) Encuentre conjuntos de elementos frecuentes en la lista de transacciones.
4) Para conjuntos de elementos frecuentes, determine si cumplen con el nivel mínimo de confianza.
5) Si está satisfecho, genere la regla de asociación; de lo contrario, ignórela.
6) Repita los pasos 3 a 5 hasta que todos los conjuntos de elementos frecuentes ya no cumplan con el nivel mínimo de confianza.
La complejidad temporal del algoritmo de crecimiento de FP es O (Tn ^ 2), n es el número de transacciones en el conjunto de transacciones y T es la duración de la transacción en el conjunto de transacciones.
Análisis de correlaciónAnálisis de correlación
El análisis de correlación es un método de análisis estadístico, su idea básica es determinar el grado de causalidad o correlación analizando la relación entre dos variables.
El coeficiente de correlación es una medida de la relación lineal entre variables de la misma dimensión. El valor del coeficiente de correlación está entre -1 y 1, y su valor absoluto refleja la fuerza de la relación lineal entre variables. El coeficiente de correlación se calcula de la siguiente manera:
1) Calcular la covarianza de dos variables.
2) Calcular la desviación estándar de las dos variables.
3) Calcular el coeficiente de correlación de las dos variables. El valor del coeficiente de correlación es igual a la covarianza dividida por el cuadrado de la desviación estándar.
La fórmula de cálculo del coeficiente de correlación lineal es la siguiente: r = (cov(X,Y))/(stdv(X)*stdv(Y))
Regresión linealRegresión lineal
La regresión lineal es un método de análisis estadístico cuya idea básica es utilizar una línea recta para ajustar una curva lineal de la relación entre dos o más variables.
La hipótesis nula de la regresión lineal es que el término de error obedece a una distribución normal. A partir de esta hipótesis nula se pueden obtener estimaciones de parámetros e intervalos de confianza. En lenguaje R, puede utilizar la función lm() para realizar un análisis de regresión lineal.
Árbol de clasificaciónÁrbol de clasificación
El árbol de clasificación es un método de clasificación y regresión. Su idea básica se basa en el proceso recursivo de división de características. A través de diferentes segmentaciones de datos, el conjunto de datos original se divide en varios subconjuntos y continúa dividiéndose en los subconjuntos. Finalmente, los datos El conjunto se divide en categorías óptimas.
Los métodos de construcción del árbol de clasificación incluyen ID3, C4.5, CART, etc. ID3, C4.5 y CART son algoritmos diferentes para la selección de características, la diferencia radica en cómo seleccionar el mejor punto de segmentación de características.
Árbol de DecisiónÁrbol de Decisión
El árbol de decisión es un método de clasificación y regresión. Su idea básica es un proceso recursivo basado en reglas si-entonces. Mediante la combinación de condiciones de rama, el conjunto de datos original se divide en varios subconjuntos y continúa en los subconjuntos. Partición y finalmente división. los datos establecidos en categorías óptimas.
Los métodos de construcción de árboles de decisión incluyen ID3, C4.5, CART, etc. ID3, C4.5 y CART son algoritmos diferentes para la selección de características, la diferencia radica en cómo seleccionar el mejor punto de segmentación de características.
perceptrón
El perceptrón es un algoritmo de clasificación lineal. Su idea básica es consistir en una capa de entrada, una capa oculta y una capa de salida. La capa de entrada representa la señal de entrada, la capa oculta representa el nodo neuronal y la capa de salida representa la neurona salida. El perceptrón se caracteriza por una sola capa y su proceso de entrenamiento consiste en minimizar la función objetivo hasta que los puntos de datos mal clasificados se restablezcan en el espacio de entrada, minimizando el error de salida.
Modelo de máxima entropía Modelo MaxEnt
El modelo de máxima entropía (modelo MaxEnt) es un modelo de distribución de probabilidad. Su idea básica es utilizar el método de máxima verosimilitud para estimar la distribución de probabilidad de los datos observados para generar los datos. El modelo de máxima entropía consta de dos partes:
(1) "Modelo paramétrico", para cualquier evento X, proporciona un parámetro θ, lo que indica que la probabilidad de que ocurra X es P (X; θ). La función de este parámetro θ es controlar la probabilidad de que ocurra un evento.
(2) "Función de verosimilitud", la entrada de esta función es el conjunto de datos observados D y la salida es el valor verdadero del parámetro θ. El propósito del modelo de máxima entropía es encontrar un parámetro θ que maximice la distribución de probabilidad P (D; θ) de la aparición de datos D.
Los métodos de aprendizaje del modelo de máxima entropía incluyen el algoritmo de retropropagación, el método cuasi-Newton, el método de ascenso de gradiente, el método de gradiente conjugado, etc.