" Este artículo es recomendado por el modelo de búsqueda corresponder revisado recordar el segundo de la serie, está en un modelo de búsqueda coincidente opinión memoria recomendada en (a) - el método tradicional .
Este documento describe la búsqueda de la representación profundidad recomendada método de aprendizaje basado, incluyendo un método (DMF, AUTOREC, el ruido sinérgica desde el codificador, etc.) basado en colaboración método de filtrado colaborativo basado en el filtrado de + sideinfo (DCF, DUIF, ACF, CKB aprendizaje ), y la configuración de los paradigmas y aplicaciones de los métodos descritos anteriormente. "
Autor: Xin Junbo
Fuente: chismes columna de conocimientos casi ad ctr modelo de predicción.
Editar: Happygirl
representación Part0 aprendizaje basado en la profundidad del aprendizaje
Por último, quiero abordar el aprendizaje profundo de la parte emocionante. Aprender del modelo que coincida con la dirección de profundidad se puede dividir a grandes rasgos en dos categorías, a saber, el modelo y el aprendizaje representación función de concordancia basada en modelo de aprendizaje.
Este capítulo se centra en el primer enfoque, el aprendizaje de la representación, que el método de la representación basada en el aprendizaje es. Este método aprender cada elemento de representación y representación de usuario, de elementos de usuario es decir, y la incrustación de los respectivos vectores (también llamado oculta o vectores), y luego mediante la definición de la función de puntuación de coincidencia, es generalmente un simple clic de un vector, o una distancia coseno partido puntuación obtenida ambos. El marco de aprendizaje representación completa mostrada en la figura 3.1, la estructura de un elemento de doble columna típica del usuario y
basado Figura 3.1 coincidencia de aprendizaje representación del modelo
representación profundidad los métodos de aprendizaje basados en el aprendizaje, se puede dividir en dos categorías, basadas en la FQ y la información lateral CF +. La siguiente presentación será de entrada, la función de representación y búsqueda de punto de vista función son tres modelos diferentes Cuál es la diferencia
Part1 método basado Collaborative Filtrado
Modelo CF (filtrado colaborativo)
Revisar el método tradicional en el método de filtrado colaborativo, si se expresa desde el punto de vista del aprendizaje, es un modelo de aprendizaje que aprende representación clásica de usuario y elemento del vector ocultos.
(1) capa de entrada
Sólo dos, a saber identificante (uno caliente), itemid (uno caliente)
(2) función de representación
Linear capa de encaje
(3) función de emparejamiento
producto vectorial interno (producto escalar)
DMF 模型 (Deep Matrix Factorización)
DMF modelo de profundidad de la matriz modelo de descomposición se incrementa en la red MF MLP convencional, todo el marco de red que se muestra en la Figura 3.3.
(1) capa de entrada
Consta de dos subgrupos, donde la interacción del usuario por un usuario a través del conjunto de elemento representado, una puntuación multi-caliente expresa como [00 400 ... ... 15], de acuerdo con la notación de matriz; también por un elemento interacción Se representa un conjunto de usuario a través de, también una representación multi-caliente, tal como [5003 ... 13], indicado por una columna de la matriz
Figura 3.3 DMF marco matriz profundidad modelo de descomposición
La entrada se puede encontrar aquí es uno en caliente, en general, un número relativamente grande de usuarios M, N se asume como número de artículo de un millón de nivel.
(2) función de representación
Multi-Capa-Perceptrón, que es la red totalmente conectada clásica
(3) función de emparejamiento
Representa la puntuación de coincidencia de dos vectores con el coseno clic
modelos comunes CF contraste, la característica más grande en la función de representación, el aumento de la no lineal MLP, pero ya que la entrada es de uno caliente, suponiendo que 1 millón de suscriptores, la primera capa 100 es una capa oculta MLP, toda la red unos primeros parámetros de la capa del lado del usuario de la luz llegará a 100 millones, llegarán a ser muy grande el espacio de parámetros
modelo AUTOREC
Aprender las ideas de auto-codificador, el modelo de entrada de AUTOREC hacer la reconstrucción, para establecer el usuario y la representación del tema, y CF, como se puede dividir en modelo por el usuario con base y elemento de base de. Para el AUTOREC, entrada basada en artículo para cada columna de la R, es decir, cada elemento se obtuvo con su respectivo usuario como vector descrito; Para AUTOREC por R basado en el usuario está representado en cada fila, es decir, cada usuario marcó con el vector para expresar el elemento.
Representado por un usuario vector ru, ri representa un elemento de vector, o por autoencoder ru ri proyecta sobre el espacio de pocas dimensiones vector (proceso de codificación), a continuación, se proyecta en el espacio normal (proceso de decodificación), utilizando el valor de entrada y el valor objetivo autoencoder similares características, reconstruyendo de ese modo (el reconstruct) para el usuario no ha interactuado de puntuación artículo.
(1) capa de entrada
Y como DMF, el usuario por la acción del usuario sobre el elemento de la colección representa, el elemento en sí por itemid, dijo que la cifra de las diapositivas originales decir autoencoder por el usuario, pero cuando se mira en los AUTOREC documentos personales originales, esto debe estar mal, debe ser Item- basado, como se representa por el número de usuarios de m, n-representa un elemento, todos los que muestra la parte inferior de la entrada del usuario (1,2,3, ... m) para el elemento i en una entrada interactiva
modelo basado en elemento de la figura 3.4 de AUTOREC
(2) función de representación
Por auto-codificador de la estructura, donde, h (r; theta) representa la reconstrucción de la capa de entrada a la capa oculta; la entrada es una interacción con el usuario a través del elemento (multi- caliente), por lo que el azul en la capa oculta usuario está representado por una representación de nodo, y el nodo de salida está representado por el punto de la representación, de modo que cada elemento puede ser obtenida y una representación del usuario, como se muestra en la siguiente fórmula
Para reducir al mínimo la función de pérdida del cuadrado de la diferencia entre el predicho y L2 W y V matrices canónica
(3) función de emparejamiento
Con el usuario y el tema de la representación, se puede obtener una puntuación de correspondencia de los dos vectores Haga clic
CDAE 模型 (Collaborative Denoising Auto-codificadores)
CDAE SVD ++ ideas similares modelo, además de expresarse USERID usuarios, la interacción del usuario a través del elemento como una expresión de la usuario.
(1) capa de entrada
Identificación del usuario, la interacción del usuario a través de la historia del ítem, y itemid. Contraste se puede encontrar AUTOREC, introducido por el usuario durante el uso de la interacción del usuario básico antes mencionado a través de la historia del propio elemento identificador de usuario y de este sesgo, la ideología es muy similar a la enfermedad vesicular porcina ++. nodos de la capa de entrada muestran en la Fig. 3, cada uno de los nodos verdes representan la interacción del usuario a través del artículo, más inferior rojo nodo de usuario propio nodo que indica las preferencias del usuario, se puede considerar la expresión de ID de usuario
(2) función de representación
3,5 estructura del modelo CDAE de la figura.
En el que los nodos de la capa oculta intermedios como usuario azul, donde Vu es el nodo de entrada del usuario en la representación de la capa, para todos aprenderán un ID de usuario y vector de expresión artículo vu independiente, pueden ser considerados propia BIAS del usuario, por ejemplo algunos Valoración de los usuarios en sí es más estricta, incluso el mejor elemento de puntuación no será demasiado alto; algunos usuarios anotando muy floja, no es tan malo, siempre y cuando el tema dará una alta calificación, con un sesgo natural entre Vu puede caracterizar mejor al usuario.
Para los nodos de la capa de salida, que puede ser considerado para el usuario de puntuación predictivo u i del artículo
(3) función de emparejamiento
El uso de un producto escalar del vector como la puntuación de coincidencia
modelo de CF basado en el método resumen profundidad
Resumir lo anterior método basado en CF tiene las siguientes características
(1) Identificación del usuario o el propio objeto o por el expreso o para expresar su comportamiento interactuado historia
(2) interactuado con un historial de comportamiento como una expresión de que el usuario o el elemento con id mejor que la propia expresión, sino que también se convierte en el modelo más complejo
(3) Auto-codificador esencialmente equivalente a la MLP + MF, la representación MLP ver con la expresión de elementos de usuario y una red completamente conectada
(4) todos los datos de entrenamiento sólo para el usuario-elemento interactivo de información, no hay introducción de información lateral y el punto de información del usuario
Part2 Based Collaborative Filtrado + método información lateral
enfoque basado en CF no introduce información lateral, la información de lado CF +, por lo tanto, el segundo método para el aprendizaje representación se basa, es decir, en el método CF introducido adicionalmente información lateral.
modelo DCF (Deep Collaborative Filtrado)
(1) capa de entrada
Además de matriz de interacción del usuario y los objetos, así como rasgos característicos usuario del artículo X e Y
(2) función de representación
CF representan diferentes aprendizaje tradicional, en el que el lado del usuario, donde X se introduce como la edad, el sexo y similares; lado Y del artículo caracteriza, tal como texto, título, categoría y similares; en donde cada lado del artículo y el usuario aprenda por un codificador de auto-, y información de la interacción matriz R todavía lo hacen matriz factorización U, V. modelo bastidor entero muestra en la Figura 3.6.
Figura 3.6 marco modelo DCF
En la que W1, X representado por la característica del lado del usuario en los codifican porciones proceso automático de codificador, es decir, de entrada a la reconstrucción de la capa oculta, en el que Pl representa al usuario para interactuar con una matriz de mapeo R; y W2 representa un artículo de lado en auto donde Y - parte de codificación del proceso codificador. P2 representa la característica del artículo de la matriz de asignación interacción R.
función de optimización de la pérdida, el usuario necesita para reducir al mínimo la parte de características del lado del codificador y la reconstrucción de la banda de elemento, y la matriz y la diferencia al cuadrado entre las interacciones de la matriz predichos, así como regular más L2. 3.7 primera fórmula en la figura.
Figura 3.7 siguiente dos fórmulas, el usuario puede ver el artículo de lado y dos lados en el que el error composición, las primeras medidas de entrada la entrada y el error estimado corrompido construidos W1 y W2 de la necesidad de garantizar que la entrada a la corrupta X e y no pueden encajar demasiado malo; expresión en la capa de segundo ocultos se proyecta sobre el espacio de características W1X y la matriz U no puede ser demasiado error asignada.
Fácil de entender, todo el modelo de aprendizaje, no sólo es necesario para garantizar que los usuarios características X e Y cuenta con elementos como codificar con precisión en sí (la reconstrucción automática del codificador de errores), pero también es necesario para asegurar que las observaciones estimados y reales sobre el usuario objetos tan cerca como sea posible (matriz error de descomposición), mientras que también limitado modelo de regularización complejidad no puede ser demasiado alto
DUIF 模型 (Deep usuario y función de imagen de Aprendizaje)
(1) capa de entrada
Además de matriz de interacción del usuario y los objetos, así como rasgos característicos usuario del artículo X e Y
(2) función de representación
La puntuación global partido puede ser representado por la siguiente figura: fi representan la imagen original características extraídas por la red CNN característica de imagen como una expresión de la partida, a continuación, el elemento se puede obtener mediante la incorporación de una aplicación lineal de expresión
(3) función de concordancia
Pu aprendidas por la representación del modelo como el usuario, y la característica de imagen extraída por CNN como un elemento de representación, tanto la puntuación de coincidencia obtenida por el producto escalar del vector de los dos
ACF 模型 (atento Collaborative Filtrado)
Atención método CF Sigir2017 propuesto en el CF tradicional en la introducción de mecanismos de atención. Atención aquí tiene dos significados, la primera capa de la atención, que el peso del usuario a través de elemento de historial interacción no es el mismo peso, la atención de otros medios, un usuario con derechos a características visuales en el peso del artículo no es la misma, tal como 3.8 se muestra en la figura.
la estructura del modelo 3.8 ACF de la figura.
(1) capa de entrada
a) el lado del usuario: id de usuario; elemento del historial de usuario interactuó
b) lado de artículo: ItemID; características visuales relacionados con los artículos relacionados con
(2) función de representación
La atención se puede dividir en dos, uno es el nivel de componente atención, sobre todo la extracción de características visual; segunda capa es nivel de objeto de atención, los principales de preferencias de usuario derechos de extracción grado al peso del artículo.
a) componente de la atención
En el presente trabajo en el sistema de recomendación para un multi-medios de comunicación, hay muchas características gráficas y la extracción de información de vídeo, por lo que la introducción de la primera capa de la atención se refiere a la atención componente, pensé por diferentes componentes de la representación elemento de la magnitud de la contribución es diferente, que se muestra en la Figura 3.9
Figura 3.9 Marco de atención componente
De la l ésimo elemento, introduzca una región diferente en sí cuenta XL1, XL2, xlm, m representa la diferente característica de artículo, y una interfaz de usuario de entrada de usuario, expresado como el último punto de una ponderación diferente de la incrustación de esa región.
En el que la primera ecuación representa el peso del usuario i l m-ésimo artículo de componentes (por ejemplo, un área local en el que la característica de imagen, o características en diferentes marcos de vídeo) tiene un peso; softmax segunda ecuación de peso atención normalizó
b) la atención tema
La segunda capa de la atención, tenga en cuenta el papel del usuario a través de la historia elemento, el peso debe ser diferente. Aquí el artículo utiliza la forma SVD ++ para expresar propia introducción del usuario de un (i, l), i representa el peso de la interacción del usuario a través de su historia de mercancías pesadas l.
i usuario l ésimo elemento del peso derecho de expresión se puede expresar por los datos siguientes:
Donde ui es el propio vector latente del usuario, vl l es un artículo de vector latente, pl l del artículo es asistido vector latente; xl es una información de vector gráfico latente característica extraída de la mencionada anteriormente. La expresión final es el usuario auto-ui del vector latente, y el comportamiento histórico de la representación representación atención-ponderado.
El modelo utilizado está optimizado pérdida pairwise
(3) función de representación
usuario hace clic en el uso de vectores y elemento como el resultado del partido
modelo CKB (Base de conocimientos Collaborative Embedding)
CKB modelo se propone en 2016 KDD, el uso de mapas de conocimiento hacer el aprendizaje representación, marco modelo que se muestra en la Figura 3.10. De hecho, todo el CKB marco y modelos bastante simples, cada lado de extracción de características de la partida como el elemento en la información de configuración, información de texto, y representación de la información visual
modelo marco figura 3.10 CKB
(1) capa de entrada
a) usuario 侧: id de usuario
B) tema de lado: ITEMID; elemento característico basada en el conocimiento (estructural, textual, visual)
(2) función de representación
conocimiento mapeo principalmente desde la perspectiva de la información estructurada de información de texto e información gráfica se extraen lado el componente de Expresión, el último punto de la incorporación de una
a) características estructurales struct incrustación: transR, TRANSE
La figura 3.11 struct marco de la incrustación
b) el texto característica Pruebas incrustación: apilada eliminación de ruido auto-codificadores (S-DAE)
La figura 3.12 textual marco de la incrustación
c) características visuales de incrustación visuales: apilados auto-codificadores convolucionales (SCAE)
La figura 3.13 marco incrustación visual
(3) función de emparejamiento
Después de obtener el vector de elementos de usuario y vector, representado por un usuario vector puntuación de coincidencia y haciendo clic en el elemento; función de pérdida utilizando la siguiente pérdida de pares representa
profundidad Part3 método resumen a juego basado en la representación
nivel micro
Para resumir el enfoque anterior a base de CF se puede expresar de la siguiente paradigma
3.14 paradigmas modelo profundidad concordancia basada en CF
(1) El aprendizaje de representación: El propósito es aprender el usuario y cada elemento de representación (también llamado vector latente, o embebiendo)
(2) Los patrones de expresión: el usuario cuenta con otro ID de usuario propio lado identificador de usuario, puede agregar otra información lado, el punto ITEMID lado, además de su información característica, hay otras características del texto, las características de gráficos, como fotograma de vídeo artículo de Identificación
(3) la expresión modelo: Además de tradicional DNN, otras estructuras tales como el Auto-Encoder (AE), Denoise-Auto-Encoder (DAE), CNN, RNN similares.
Aprender modelo de representación de profundidad no es un partido de modelo-2 de extremo a extremo, la representación de cada artículo y el usuario como un producto intermedio, interpretable y puede utilizarse en otros sectores de la fase de clasificación, por ejemplo, la mayoría artículo similar buscan la recolección de objetos, y otros aspectos de la retirada.
nivel macro
Para el modelo de profundidad, que se divide en el aprendizaje representación del modelo basado en la profundidad de la profundidad del modelo de aprendizaje y la función de correspondencia. representación modelo de aprendizaje basado en la profundidad del aprendizaje es un usuario y los objetos, y se ha calculado por funciones coincidentes, el enfoque aquí en la fase de aprendizaje de la representación, la estructura del modelo puede ser aprendido por la red, auto-codificador, mapas de conocimiento y otros CNN.
Terminar esta revisión se basa principalmente en las diapositivas originales, que forma parte de lectura de la parte de papel de la intensa crudo, aprendió mucho de ellos, en el texto completo de ideas sobre cómo hacer el partido recomendada en toda la medida de lo posible a hilvanar una variedad de métodos, principalmente detrás de la misma idea orientación. Hay más de errores, la crítica de bienvenida señaló.
referencia Parte 4
(1) https: // www. comp.nus.edu.sg/~xiangn un / sigir18-deep.pdf
(2) Hong-Jian Xue, Xin-Yu Dai, Jianbing Zhang, Shujian Huang, y Jiajun Chen. Profundas modelos matriz de factorización de los sistemas de recomendación. IJCAI 2017.
(3) Suvash Sedhain, Aditya Krishna Menon, Scott Sanner, y Lexing Xie. AUTOREC: Autoencoders reúnen el filtrado colaborativo. En 2015 WWW.
(4) Yao Wu, Christopher DuBois, Alice X. Zheng, y Martin Ester. eliminación de ruido de colaboración codificadores automatiza para los sistemas superiores-n de recomendación. En WSDM 2016.
(5) Sheng Li, Jaya Kawale, y Yun Fu. Profunda colaboración filtrado a través de marginados eliminación de ruido automática codificador. En CIKM 2015.
(6) Xue Geng, Hanwang Zhang, Jingwen Bian, y Tat-Seng Chua. Aprender características de la imagen y del usuario para la recomendación en las redes sociales. En ICCV 2015.
(7) Jingyuan Chen, Zhang Hanwang, Xiangnan Él, Liqiang Nie, Wei Liu, y Tat Seng Chua. filtrado colaborativo atento: recomendación multimedia con atención y el tema a nivel de componentes. En SIGIR 2017.
(8) Fuzheng, Zhang, Nicholas Jing Yuan, Defu Lian, Xing Xie, y Wei-Ying Ma. Base de conocimientos de Colaboración de inclusión para los sistemas de recomendación. En KDD 2016.
