Este enlace: https://blog.csdn.net/jxq0816/article/details/102993212
REVISIÓN
En la actual era de Internet móvil, además de rico contenido profesional, el contenido UGC es el desarrollo más explosivo , cada usuario es a la vez un consumidor de contenidos, también se convierten en creadores de contenido. Estas grandes cantidades de contenidos para satisfacer nuestras necesidades, sino que también nos hace más difícil encontrar lo que necesita, en cuyo caso la recomendación personalizada entró en vigor.
recomendación personalizada está en el análisis de grandes datos y técnicas de inteligencia artificial basado en la investigación realizada por el usuario preferencias de interés , ser personalizada de computación para proporcionar contenido personalizado de alta calidad para el usuario, para resolver la sobrecarga de información problema, y mejores usuarios a cumplir que necesita.
En primer lugar, el sistema de recomendación introdujo iQIYI
Nuestro sistema de recomendación se divide en dos fases, la fase de recuperación y la fase de clasificación.
Recordemos escenario basado en los intereses del usuario y el historial de comportamiento, con decenas de millones de videoteca para elegir un candidato pequeños conjuntos (cientos de miles de vídeos). Estos candidatos están interesados en los usuarios de contenidos, clasificación de la etapa , los cálculos más precisos en base a esto, se puede marcar con precisión a cada vídeo, y luego seleccionar un pequeño calidad de mayor interés para el usuario de los cientos de miles de candidato contenidos (más de una docena de vídeo).
configuración global de un sistema de recomendación se muestra en la figura, la función de cada módulo son los siguientes:
retrato de usuario 1: análisis de atributo de las personas multidimensionales contiene la historia del usuario de comportamiento, intereses y preferencias de contenido tendencias, es la piedra angular de la personalizada
2 características del proyecto: contiene el atributo de clase del análisis de contenido de vídeo, características y preferencias de la estadística multitud Una gama completa de dibujo y la medición es la base para el contenido de vídeo y análisis de calidad
3 algoritmo de recordatorio: contiene los modelos retirados de múltiples canales, como el filtrado de colaboración, modelo tema, tales como el contenido de la retirada y canales de SNS, la diversidad puede seleccionar el contenido preferido de la biblioteca de vídeo
4 modelos de ordenación: múltiples canales de contenido se recuperarán con una especie de partitura, seleccione el resultado óptimo de una pequeña cantidad.
Además de estos sistemas de recomendación también tener en cuenta la diversidad, los resultados de recomendación frescura, múltiples dimensiones y sorpresas fuerzan el grado de rejilla , más capaz de satisfacer las necesidades de los diversos usuarios.
En segundo lugar, la arquitectura del sistema de pedidos recomendada
En la etapa de recuperación, el contenido de la pluralidad de canales se recuerda no comparable, ya que los datos es demasiado grande y es difícil de realizar preferencias más precisas de evaluación de calidad y, por lo tanto la necesidad de uniforme de puntuación exacta tipo de recordatorio resultado de la clasificación de fase .
La satisfacción del usuario del video es una gran cantidad de factor de dimensión para determinar la importancia de estos factores en la satisfacción del cliente son también diferentes , incluso entre los diversos factores, así como las dependencias de múltiples capas , las personas desarrollan reglas complejas tanto difíciles de alcanzar buenos resultados, no mantenibles, lo que requiere la ayuda de la máquina de aprendizaje, el uso de modelos de aprendizaje automático para sintetizar una amplia gama de factores a ser ordenados.
Clasificación arquitectura del sistema como se muestra, principalmente por un comportamiento del usuario la recogida, en el que el relleno, la proyección muestra de entrenamiento, formación modelo, la predicción de pedidos en línea y otros módulos.
El cuerpo del proceso de aprendizaje de la máquina es más genérico, la arquitectura de diseño no requiere teoría compleja, es la necesidad de un escrutinio más cuidadoso de los detalles, y los datos de flujo lógico arquitectura.
La arquitectura se basa en la experiencia previa y las lecciones aprendidas, resuelve dos problemas en la arquitectura de la máquina de aprendizaje sobre la base de:
Formación de consistencia predecible
Aprendizaje automático modelos producidos en la exactitud de la diferencia entre la formación va a modelar y predecir un gran impacto, especialmente cuando los servicios de formación modelo de características y en línea inconsistentes, tales como comentarios de los usuarios en los resultados de recomendación afectará inmediatamente las características de las preferencias del usuario, en el entrenamiento, cuando el estado de características de los usuarios han cambiado, si el modelo tendrá un gran error en base a las características del usuario en esta ocasión.
Nuestra solución es función de ahorro en el servicio de cobertura en línea, y luego se introduce en las muestras recogidas comportamiento de los usuarios, asegurando así la consistencia de las características de formación y previsión.
iteración continua
productos de Internet continuaron iteración en la línea es la norma, al diseño de la arquitectura, la preparación de datos, formación de modelo y de servicios en línea deben ser capaces de tener un buen apoyo para la continua repetición.
Nuestra solución es la preparación del modelo de datos y la formación de las distintas etapas de desacoplamiento, y la configuración de la política de esta arquitectura para hacer la prueba se convierte en modelo muy simple, se puede probar rápidamente múltiples iteraciones en paralelo.
En tercer lugar, el aprendizaje de la máquina recomendada algoritmos de ordenación evolución
1, en la antigüedad
Cuando por primera vez en línea máquina de clasificación de modelo de aprendizaje, la elección de un relativamente simple de regresión logística, vamos a poner el foco en el diseño de arquitectura, tratar de asegurar la exactitud de la arquitectura. Además, el modelo explicativo LR es fuerte, fácil de depurar, y el peso se explica por las características del derecho contenido recomendado, encontrar las deficiencias del modelo.
Antes de modelo de formación, lo primero que resolver es los indicadores de evaluación y el objetivo de la optimización del problema.
- Los indicadores de evaluación (métricas)
indicadores de evaluación en línea necesitan para que coincida con los efectos de los objetivos a largo plazo , tales como el uso de los insumos y el nivel de actividad del usuario y así sucesivamente. En nuestros experimentos, popular CTR de la industria no es un buen índice de evaluación, que será más sesgada a favor de un vídeo de corta duración, título del partido y contenido vulgar.
indicadores de evaluación fuera de línea están en conformidad con el negocio para personalizar para que coincida con el índice de evaluación en línea, por lo que en la etapa en línea puede eliminar estrategia ineficaz para evitar la pérdida de tráfico en línea.
- objetivo de optimización (objetivo)
Machine Learning será resuelto de acuerdo con la solución óptima objetivo optimizado, si hay desviaciones objetivos de optimización, también hay variaciones resultantes modelo, y el modelo continuará aprender de la dirección de la desviación en la iteración, la desviación será más grave.
Nuestro enfoque es agregar el derecho de re-muestreo, y los pesos de muestra añadido a la función de pérdida para que los objetivos de optimización e indicadores de evaluación tanto como sea posible en consonancia con el propósito de controlar el modelo.
LR es un modelo de clasificación lineal requiere de entrada es linealmente característica independiente. Podemos utilizar las características densas (dimensiones entre decenas a cientos) son a menudo no lineal, y tiene una dependencia, es necesario convertir la función.
El que la conversión requiere la distribución de características, características y analizar la relación entre la etiqueta y a continuación, utilizar el método de conversión apropiado. Se utilizaron las siguientes categorías: transformación polinómica, logarítmica o exponencial Transformación , Transformación interacción y función de distribución acumulada y así sucesivamente.
Aunque el modelo de RL es simple, fuerte explicativo, pero en el caso Características aumentado gradualmente, debilidades son evidentes.
① de ellos necesitan ser convertidos manualmente a un elemento lineal, el consumo muy humano, y no se garantiza la calidad
Caracterizado en el caso de ② veintidós para la interacción del modelo de predicciones complejidad Sí. En el caso de características 100-dimensionales densos, habrá una combinación de la dimensión característica de 10 000, de alta complejidad, que se caracteriza más difícil
Durante tres o más características ③ Interacción casi inviable
2, la Edad Media
Para resolver el problema anterior LR, modelamos la actualización para el modelo de Facebook GBDT + LR, la estructura del modelo se muestra en la figura.
Impulsar conjunto GBDT modelo se basa en la idea, por un árbol de decisión compuesto por múltiples piezas, tiene las siguientes ventajas:
① no se requiere la distribución de la función de entrada
② La función de entropía conversión automática de ganancia, combinación de características, la selección de características y discreta, de alta combinación dimensional de características, eliminando la necesidad de proceso de conversión manual, y la pluralidad de admitir las características de Interacción
③ predicción, independientemente de la complejidad y el número de función
El número n = 160 se supone que el número de números de decisión de K = 50, la profundidad del árbol d = 6, la complejidad de las generaciones modelo de predicción siguientes comparación, la complejidad del modelo se reduce a la original 2,72% después de la actualización
apilar modelo GBDT y LR con respecto a la actualización sólo se GBDT ligeramente mayor beneficio es prevenir GBDT exceso de ajuste. Después de la actualización es GBDT + LR, en línea acerca de 5% para mejorar el efecto, y debido a la nueva prueba iterativa omitido el que la etapa de conversión manual, característica creciente también más fácil.
3, la historia reciente
GBDT + LR cotas de operación de entrada del modelo de pedido de varios cientos dimensiones, características comunes son densos.
Esta característica buena capacidad de generalización, pero la capacidad de memoria es relativamente pobre, por lo que es necesario aumentar de alta dimensión (millones dimensionar arriba) recomendada funciones de contenido para mejorar la capacidad de memoria, funciones de vídeo, incluyendo identificación, etiquetas, y otros temas.
GBDT no soporta característica escasa de alta dimensión, si la característica dimensional alta se añadió a la LR, se necesita una combinación artificial de característica dimensional alta, por otro lado, el modelo de dimensiones y complejidad computacional será O (N ^ 2) nivel de crecimiento. Por lo tanto, el diseño del modelo GBDT + FM como se muestra, usos alternativos Factorización máquinas Modelo LR.
Factorización Máquinas (FM) modelo como se muestra a continuación, tiene las siguientes ventajas:
1. fórmula modelo
2. La dos primeras de un modelo lineal, el modelo equivalente de la función de LR
3. El tercer término es un términos cruzados cuadráticas pueden ser composición cruz automáticamente en donde
4. Al aumentar el vector implícita, la complejidad computacional de la formación modelo de predicción y reducido a la O (N)
5. función escaso apoyo
Estas ventajas hacen que la característica GBDT + FM que tiene un escaso apoyo bueno, el uso de nodos de hoja FM GBDT y característica escasa (característica de contenido) como una entrada, el diagrama de la estructura del modelo a continuación, GBDT + en comparación con la línea después del modelo FM GBDT + indicadores LR para mejorar el efecto de entre 4% y 6%.
Un ID de usuario FM típico utilizado en el modelo como las características de los usuarios, que pueden conducir a un rápido incremento modelo tridimensional, y el usuario sólo puede cubrir algunas capacidades de generalización populares, relativamente pobres. Aquí se utiliza la historia de visualización del usuario y el interés en la etiqueta en lugar de la identificación del usuario, la reducción de las dimensiones características, y porque el usuario está interesado reutilización lata, sino también mejorar la función correspondiente generalización.
Tratamos principalmente a usar la L-BFGS, SGD y FTRL (seguir al regularizado-Líder) tres tipos de algoritmos de optimización para resolver:
1. SGD y L-BFGS efecto o menos, el efecto de L-BFGS estrecha relación con los parámetros de inicialización
2. TRL, en comparación con SGD tiene las siguientes ventajas:
(1) con una L1 regular, la función de aprendizaje es más escasa
(2) usando un gradiente de acumulado, acelerar la convergencia
(3) determinar el rasgo característico tasa de aprendizaje de acuerdo con muestras de frecuencia de ocurrencia, para asegurar el aprendizaje suficiente cada característica
FM modelos de caracterización que figuran frecuencia variar ampliamente, FTRL para asegurar que cada característica puede ser completamente aprendidas, es más adecuado para las características dispersas. pruebas de línea característica muestran que escasa FTRL SGD al 4,5% del efecto de elevación.
4, el modelo contemporáneo
modelo GBDT + FM, que tiene la estructura en la que la profundidad de incrustación de información tales como el uso no es suficiente, y la profundidad de aprendizaje (Deep Neural Network) capaz de aprender incorporado (incrustación) características densas y características comunes información de profundidad extraída para mejorar la precisión del modelo resistencia, y se ha aplicado con éxito en muchas áreas de aprendizaje automático. Por lo tanto, vamos a ordenar DNN introduce en el modelo, mejorar la calidad general de la clase.
ensemble DNN + GBDT + FM de la arquitectura modelo que se muestra en la figura, la capa de FM como la última capa del modelo, es decir, la capa de fusión, cuya entrada consta de tres partes: DNN última capa de capas ocultas, GBDT hoja salida del nodo, de alta dimensión características dispersas. ensemble DNN + GBDT + FM de la arquitectura modelo describe a continuación, en línea después de la modelo con respecto a GBDT + FM mejorar el efecto de 4%.
4.1 modelo DNN
(A) utilizando la red totalmente conectado, un total de tres capas ocultas.
(B) Número de nodos ocultos 1024, 512 y 256, respectivamente.
(C) pre-formados usuarios vectores de incrustación y de vídeo, incluyendo el comportamiento del usuario, así como dos Embedding basado en el contenido semántico.
(D) DNN información característica de un pozo profundo que tiene una distribución matemática extrae, como característica de inserción, después de la normalización y así sucesivamente características estadísticas.
(E) Mientras que las características requeridas DNN no deben normalizarse, pero las pruebas encontraron que algunas características atípicas debido a que el rango de fluctuación es demasiado grande, se llevará efecto DNN se reduce.
4.2 modelo GBDT
(A) un tren separado, en el que la entrada comprende una densa no normalizado y normalizado.
(B) un procedimiento capaz de características continuas y discretas no volvió.
(C) de entrada automáticamente de acuerdo con las características y combinaciones de ganancia de entropía discreta.
capa de integración 4,3 FM
(A) Modelo FM DNN y modelo que la misma red al mismo tiempo de entrenamiento.
(B) en la que las características de salida DNN, GBDT y fusión escasa y transversal.
4.4 formación TensorFlow Distribuido
4.5 predicción en línea basado en TensorFlow Sirviendo Micro Servicios
modelo FM conjunto utilizado DNN + + GBDT es Adam optimizador. combina Adam El algoritmo adaptativo de gradiente (AdaGrad) y Root Mean Square Propagación (RMSProp) algoritmo. Tiene mejor tasa de convergencia, cada variable tiene su propio tamaño de paso disminuye, el tamaño total disminución paso se ajusta de acuerdo con el gradiente de corriente, puede acomodar datos con el ruido. Experimento probado una variedad de optimización, el efecto de Adam es óptima.
5, situándose en el estado quo de la industria DNN
①Youtube lanzó algoritmo de clasificación en 2016 DNN.
② Universidad Shanghai Jiaotong y UCL puso en marcha la red de redes neuronales basados en producto (PNN) en 2016 para predecir el usuario hace clic. PNN características equivalentes en la capa DNN hicieron cruz, nuestro enfoque es característica de cruzar a FM hacer, DNN enfoque en la extracción de información de profundidad.
③Google ancho y profundo Modelo introdujeron en 2016, esta es la base de nuestro modelo actual, utilizando la FM sobre la base de la sustitución de la LR Característica Cruz, simplifica la complejidad computacional, mejorar la capacidad de generalización de la cruz.
atención Ali ④ este año a utilizar el mecanismo introducido profundo interés de red (DIN) de los productos básicos CTR estimación, optimizar la precisión de los vectores de incrustación, vale la pena aprender.
IV Resumen
Separado recomendación es una escena clásica de aprendizaje automático, la recomendación de los resultados del impacto también es muy importante, además de la excelencia del algoritmo de modelo, pero más características para los negocios, la ingeniería, la arquitectura y los detalles de los datos de procesamiento de tubería de impulsión cuidado escrutinio y optimización en profundidad.
Clasificación de la introducción de DNN es sólo el principio, también es necesario seguir el modelo de la arquitectura, característica de inserción, probar más la diversidad y de objetivos múltiples de arranque en frío aprender a hacer, para proporcionar la recomendación más precisa y más humano, optimizar la experiencia del usuario.
referencias
[1] Cheng, Heng-Tze, et al. "Aprender ancha y profunda de los sistemas de recomendación." Actas de la primera Taller sobre aprendizaje profundo para Sistemas de Recomendación. ACM, 2016.
[2] Qu, Yanru, et al. "Producto basado en redes neuronales para la predicción de la respuesta del usuario." La minería de datos (ICDM), IEEE 2016 16ª Conferencia Internacional sobre. IEEE, 2016.
[3] El, Xinran, et al. "Lecciones prácticas de predicción de clics en anuncios en Facebook". Actas del Taller Internacional sobre Octava de minería de datos para la publicidad en línea. ACM, 2014.
[4] Zhou, Guorui, et al. "Profundo interés de red para el porcentaje de clics predicción." arXiv arXiv: 1706.06978 (2017).
[5] Rendle, Steffen. "máquinas Factorización". La minería de datos (ICDM), 20
