La recommandation de session est une sous-branche du domaine de recommandation, et le département de technologie de croissance de la plate-forme Meituan explore également en permanence ce domaine. Il n'y a pas si longtemps, le modèle de réseau de neurones à convolution temporelle CA-TCN pour la perception d'informations intersessions proposé par le département a été accepté par la conférence internationale ICDM NeuRec Workshop 2020. Cet article présentera le modèle CA-TCN dans le document, dans l'espoir d'aider ou d'éclairer les étudiants qui sont engagés dans un travail connexe.
Le nom complet de l'ICDM est International Conference on Data Mining, qui est la plus importante conférence de recherche sur l'exploration de données au monde organisée par l'IEEE. La conférence couvre les statistiques, l'apprentissage automatique, la reconnaissance de formes, les bases de données, les entrepôts de données, la visualisation de données, les systèmes basés sur la connaissance et -informatique de performance, etc. Domaines liés à l'exploration de données. L'atelier ICDM NeuRec vise à discuter systématiquement des derniers développements dans les algorithmes neuronaux peu profonds et profonds du système de recommandation du point de vue de l'application et de la théorie. L'atelier rassemble les dernières contributions importantes sur le développement et l'application d'algorithmes neuronaux et de théories à construire un système de recommandation intelligent.
Contexte
À l'ère des mégadonnées, en tant qu'infrastructure du système, le système de recommandation commence à jouer un rôle de plus en plus important. Le système de recommandation peut sélectionner des produits ou des contenus qui intéressent les utilisateurs, réduisant ainsi une partie de l'impact causé par l'explosion des informations. À l'heure actuelle, de nombreux modèles de recommandation proposés dans l'industrie ont remporté un vif succès, mais la plupart des méthodes de recommandation nécessitent souvent des recommandations basées sur des informations claires sur le profil de l'utilisateur. Cependant, dans certains domaines spécifiques, les informations sur le profil de l'utilisateur peuvent ne pas être disponibles.
Afin de résoudre ce problème, la tâche de recommandation basée sur la session a été proposée. La tâche de recommandation de session consiste à prédire le prochain comportement de l'utilisateur en fonction de la séquence de comportement de l'utilisateur dans la session en cours sans se fier aux informations de profil de l'utilisateur [1]. Actuellement, les tâches de recommandation conversationnelles ont été largement utilisées dans de nombreux domaines, tels que la prochaine recommandation de page Web, la prochaine recommandation de POI, la prochaine recommandation de produit, etc. Afin de couvrir plusieurs domaines, le concept de «conversation» ne se limite pas aux transactions, mais se réfère à une collection d'éléments qui sont consommés ou consultés une fois ou dans un certain laps de temps.
Chaque session (Session) est une séquence de transfert d'un élément, de sorte que la tâche de recommandation de session peut être naturellement considérée comme une tâche de recommandation de séquence. Le modèle de recommandation de session basé sur le réseau neuronal récurrent (RNN) [2] est le modèle principal de l'application . Mais sur la base du modèle RNN, seule la relation de transfert unidirectionnelle continue entre les éléments est modélisée et la relation de transfert entre les autres éléments de la session est ignorée. Avec les hotspots des réseaux de neurones graphiques, des modèles de recommandation de conversation basés sur des structures graphiques telles que SR-GNN [3] et GC-SAN [4] ont été proposés, dans l'espoir de pallier cette carence. Le modèle de recommandation de conversation basé sur la structure graphique construit la séquence de transfert d'éléments conversationnels dans une structure graphique, puis utilise le modèle de réseau neuronal graphique pour explorer la relation de transfert complexe entre plusieurs éléments. À l'heure actuelle, le modèle de recommandation de conversation basé sur la structure graphique est devenu une solution de pointe, mais il présente encore certaines limites. Observez ce qui suit:
-
Observation 1 : Presque toutes les méthodes de recommandation de conversation existantes se concentrent uniquement sur les informations internes de la conversation, tout en ignorant les informations externes (influence mutuelle entre les sessions). Les informations entre les sessions contiennent souvent des informations supplémentaires très précieuses, ce qui est bénéfique. la session en cours plus précisément. Comme le montre la figure ci-dessous, en prenant comme exemple les Airpods Item_3 de la Session 3, la méthode existante se concentre uniquement sur l'impact de Item_9 dans la session actuelle Session3 sur Item_3 et ignore l'impact des autres sessions. Pour la session 1, les utilisateurs peuvent avoir l'intention d'acheter des écouteurs et de comparer la même catégorie, donc item_2 et item_4 auront un impact de catégorie sur item_3; pour la session 2, les utilisateurs peuvent préférer la marque Apple, donc item_5 et item_6 auront un impact sur la marque . Selon les observations ci-dessus, l'impact intersessions au niveau Item_Level est essentiel pour mieux déduire la représentation globale de l'élément. Dans le même temps, différentes sessions peuvent avoir des intentions utilisateur et des modèles de comportement similaires, de sorte que l'impact intersessions sur le niveau de session joue également un rôle très important dans la prédiction plus précise de la prochaine action de l'utilisateur dans la session en cours.
-
Observation 2 : lors de la création d'un graphique, le même élément qui apparaît à différentes étapes de temps est considéré comme le même nœud. Cela perdra les informations de position dans la séquence, de sorte que différentes sessions de séquence sont construites. La structure du graphique de session est exactement le même. Par exemple, deux sessions différentes Session S1: v_i -> v_j -> v_i -> v_k -> v_j -> v_k et Session S2: v_i -> v_j -> v_k -> v_j -> v_i -> v_k. Dans la figure 2 ci-dessous, leurs structures graphiques correspondantes sont exactement les mêmes, ce qui limite inévitablement la capacité du modèle à obtenir une représentation de session précise. De plus, dans la construction du graphe de conversation, seuls deux éléments adjacents directement connectés établiront un bord, ce qui signifie que seul l'élément sur lequel vous avez cliqué en dernier avant l'élément actuel est le voisin de premier ordre de l'élément actuel, comme indiqué dans Figure 2. Mais apparaissant dans la même session, même les éléments qui n'ont pas été cliqués en permanence ont une certaine connexion, de sorte que la structure du graphe a une capacité limitée à préserver la dépendance à long terme de la séquence. Au contraire, pour le modèle de réseau neuronal convolutif temporel (TCN) [5], la convolution causale permet aux éléments du champ réceptif de l'élément courant d'être directement convolus en tant que voisins de premier ordre, et la convolution dilatée permet plus les éléments distants l'affectent directement en tant que voisin de premier ordre.
Introduction au travail connexe
Les méthodes de recommandation de session existantes peuvent être grossièrement divisées en deux catégories, à savoir les méthodes de filtrage collaboratif et les méthodes d'apprentissage en profondeur:
-
Méthode de filtrage collaboratif : La méthode de filtrage collaborative est une méthode universelle largement utilisée dans les systèmes de recommandation. Les méthodes de filtrage collaboratif peuvent être divisées en deux grandes catégories: les méthodes de recherche KNN et les méthodes de modélisation basées sur la similarité. La méthode de recherche basée sur KNN met en œuvre la recommandation en recherchant les utilisateurs ou les éléments associés à Top-K. La méthode de recherche basée sur KNN peut implémenter la recommandation basée sur la session en recherchant l'élément le plus similaire au dernier élément de la session en cours. Récemment, KNN-RNN [6] a exploré la combinaison du modèle RNN avec le modèle KNN, l'extraction des informations de séquence de session à travers le modèle RNN, puis la recherche d'éléments qui apparaissent dans une session similaire à la session en cours pour mettre en œuvre des recommandations. Pour la méthode de modélisation basée sur la similarité, CSRM [7] utilise le réseau mémoire pour modéliser les informations pertinentes contenues dans les m sessions les plus proches de l'heure de session courante, de manière à obtenir une représentation de session plus précise et à améliorer les performances de recommandation de session.
-
Basé sur des méthodes d'apprentissage en profondeur : les méthodes d'apprentissage en profondeur ont obtenu des résultats satisfaisants dans plusieurs domaines grâce à leurs puissantes capacités d'apprentissage des fonctionnalités. Pour les tâches de recommandation de session, le réseau neuronal récurrent RNN est un choix intuitif qui peut être utilisé pour extraire des caractéristiques de séquence. L'avantage de capturer les dépendances complexes au sein de la session. GRU4Rec [2] utilise Gated Recurrent Unit (GRU) comme une forme spéciale de RNN pour apprendre les dépendances à long terme entre les éléments afin de prédire la prochaine action dans la session. Certains travaux ultérieurs ont amélioré et élargi le modèle en ajoutant des mécanismes d'attention et de mémoire basés sur le modèle RNN. Parmi eux, NARM [8] a exploré un encodeur hiérarchique avec un mécanisme d'attention qui peut modéliser le comportement de la séquence de l'utilisateur et ses principales intentions dans la session en cours. Récemment, avec le développement rapide des modèles de réseaux neuronaux graphiques, un modèle de recommandation de conversation reposant sur des structures graphiques est apparu. SR-GNN a d'abord proposé de mapper chaque conversation sur une structure graphique, et a utilisé le modèle de réseau neuronal graphique GNN pour modéliser des éléments. Complexe. relation de transfert. Après cela, GC-SAN a encore étendu le modèle SR-GNN en ajoutant le mécanisme d'auto-attention, devenant ainsi une solution de pointe.
Il existe des différences évidentes entre le modèle CA-TCN et les méthodes existantes. D'une part, CA-TCN explore l'impact intersession du niveau élément et niveau session pour améliorer les performances des recommandations. Il existe deux différences par rapport aux autres méthodes de filtrage collaboratif: 1. CA-TCN prend également en compte les informations intersessions sur et L'impact des différents niveaux de session, tandis que le CSRM ne considère que le niveau de session. 2. CA-TCN construit un graphe d'item intersession global intersessions et un graphe Session-Contexte, et utilise GNN pour explorer les impacts intersessions complexes. D'autre part, par rapport aux modèles RNN et GNN, le modèle CA-TCN surmonte l'incapacité du modèle RNN à être parallèle, le manque de structure graphique et la dépendance à long terme de l'information.
Modèle de réseau neuronal à convolution temporelle pour la perception intersessions (CA-TCN)
1. Cadre général du modèle
Le cadre général du réseau est illustré à la figure 3 ci-dessous. Étant donné les données de séquence de session, nous construisons d'abord un graphique d'éléments intersessions pour lier les éléments liés qui apparaissent dans différentes sessions, puis nous produisons un vecteur d'éléments contenant des informations globales via le réseau de neurones du graphique. Le vecteur d'élément obtenu est entré dans le modèle TCN pour sortir une représentation d'élément contenant des informations de séquence de session, et la représentation d'élément est intégrée selon le mécanisme d'attention au niveau de l'élément pour obtenir la représentation de session. Après cela, un graphe de contexte de session est construit en fonction de la similitude entre les représentations de session pour modéliser la relation intersessions au niveau de la session. Enfin, faites des prédictions basées sur la représentation de Session et la représentation de l'élément.
2. Graphique d’éléments intersessions (Graphique d’éléments intersessions)
Dans la première étape, nous construisons un graphe orienté G_item Cross-Session Item-Graph, où chaque nœud du graphique représente un élément, (v_s_i, v_s_i + 1) comme une arête, représentant que l'utilisateur est après v_s_i dans la session s Clicked v_s_i + 1. Par rapport à la méthode existante, le graphe G_item intersessions peut établir des liens entre des éléments apparaissant dans toutes les sessions, de sorte que G_item peut non seulement obtenir les informations internes de la session, mais également les informations externes de la session non courante. Le cœur du diagramme G_item est de rassembler tous les éléments pour une considération globale, puis d'utiliser le comportement de clic dans chaque session pour établir un lien entre les éléments. Les informations de clic des différentes sessions sont agrégées pour rendre la relation entre les éléments plus abondant.
Afin d'exploiter pleinement les informations de la structure du graphique G_item, CA-TCN prend en compte l'ordre des clics de l'élément et le nombre de cooccurrences. Pour la séquence de clics, établissez les matrices de contiguïté A_in et A_out avec des directions pour modéliser les directions d'entrée et de sortie. Sur la base de la matrice de contiguïté, différents poids sont fixés pour différents bords en fonction du nombre de cooccurrences entre les éléments, et les matrices de poids Weight_in et Weight_out sont obtenues. En attribuant des poids différents, les éléments avec plus de cooccurrences joueront un plus grand rôle, et vice versa, évitant ainsi les effets de bruit.
Ensuite, nous développons un modèle GNN pour capturer l'impact des informations intersessions complexes au niveau item_level. GNN mappe chaque élément à une incorporation d-dimensionnelle v∈R ^ d pour obtenir un vecteur élément global (item_vector) contenant des informations intersessions.
3. Modèle de réseau neuronal à convolution temporelle (modèle TCN)
Dans un second temps, nous utilisons le réseau neuronal convolutif temporel TCN pour modéliser la séquence de conversation et obtenir la représentation globale et locale de la conversation s. Chaque session s est composée de plusieurs éléments, et la représentation vectorisée globale (item_vector) des éléments contenus dans la session s est entrée dans le modèle de réseau neuronal convolutif temporel (TCN). Pour chaque élément de la conversation, la causalité et la convolution de dilatation sont calculées et les informations de séquence de conversation sont extraites.
La sortie TCN du dernier élément de la session est utilisée comme information locale de la session s pour obtenir correctement l'intérêt actuel de l'utilisateur:
De plus, la représentation globale (session_vector) de la session est obtenue en utilisant la représentation des éléments contenus dans la session s dans une méthode de sommation pondérée pour capturer les informations globales de l'utilisateur. Parmi eux, afin de distinguer différents éléments ayant différents degrés d'influence sur la conversation, le mécanisme d'attention au niveau de l'élément est adopté pour rendre la représentation de la conversation plus concentrée sur les éléments de grande importance.
4. Graphique de contexte de session
Les représentations locales et globales de la session se concentrent uniquement sur la session en cours, ignorant l'impact entre les sessions. Afin de surmonter cette lacune, nous construisons une structure de graphe de session sensible au contexte (Session-Context-Graph) pour considérer la relation complexe entre les différentes sessions.
Dans le graphe de conversation, chaque nœud représente une conversation s, et le lien du bord représente la similitude entre deux conversations. Une question importante que nous devons considérer est de savoir comment déterminer si un avantage existe. Pour chaque paire de conversations, nous calculons la similitude entre les deux, puis utilisons le modèle KNN-Graph [9] basé sur la valeur de similarité pour déterminer les voisins d'un nœud de conversation. Après avoir construit la structure du graphe de conversation, nous utilisons le mécanisme d'attention de la couche conversation et le modèle de réseau neuronal graphique [10] pour intégrer l'influence des nœuds voisins de conversation sur lui-même, et l'attention de la couche conversation considère également la similitude entre les conversations Au final, une représentation conversationnelle basée sur le contexte conversationnel est finalement obtenue.
5. Cliquez sur Prévision
Afin de mieux prédire le prochain comportement de l'utilisateur, nous utilisons une fonction de fusion pour fusionner la représentation locale, la représentation globale et la représentation basée sur des informations intersessions pour obtenir la représentation finale de la conversation:
Enfin, nous prédisons la probabilité que chaque élément candidat devienne le prochain clic de l'utilisateur en fonction de la représentation de l'élément et de la session, trions dans l'ordre inverse en fonction de la probabilité et filtrons les produits correspondant aux chiffres prédéfinis avec la valeur de probabilité comme valeur produit préféré de l'utilisateur. recommander.
Évaluation expérimentale
Afin d'évaluer les performances du CA-TCN proposé, nous avons utilisé deux ensembles de données de référence largement utilisés, à savoir Yoochoose et Diginetica. Les résultats de l'évaluation des performances du modèle sont présentés dans le tableau suivant. Le CA-TCN est meilleur que le RNN et le graphique actuels Solution de pointe basée sur la structure.
En outre, nous menons des expériences d'ablation pour évaluer l'impact de chaque composant dans CA-TCN, y compris le modèle TCN, le graphique d'élément intersession et le graphique de contexte de session. Les résultats expérimentaux de la figure ci-dessous prouvent que CA-TCN a obtenu une amélioration progressive des performances sur la tâche de recommandation de session en utilisant le modèle TCN et les informations intersessions.
-
CA-TCN (ca.exl) : C'est une variante de CA-TCN, qui inclut uniquement les informations intersessions du réseau neuronal convolutif temporel, du graphique d'élément de session croisée et du graphique de contexte de session.
-
CA-TCN (sc.exl) : Il s'agit d'une variante de CA-TCN, qui contient les informations intersessions au niveau de l'élément du graphique d'élément intersession, mais n'inclut pas l'élément intersession au niveau de la session. Graphique.
Travail futur
À l'heure actuelle, le document a déposé une demande de brevet. À l'avenir, nous explorerons et mettrons en œuvre les tâches de recommandation de conversation et de recommandation de séquence de plusieurs secteurs d'activité de Meituan. En particulier, le modèle CA-TCN a été validé sur l'ensemble de données e-commerce Yoochoose, ce qui prouve que le modèle CA-TCN convient aux scénarios de commerce électronique avec des attributs de marchandise. Vous pouvez essayer l'application dans le secteur d'activité du attribut.
références
[1]. S. Wang, L. Cao et Y. Wang, «Une enquête sur les systèmes de recommandation basés sur la session», arXiv preprint arXiv: 1902.04864, 2019.
[2]. B. Hidasi, A. Karatzoglou, L. Baltrunas et D. Tikk, «Recommandations basées sur des sessions avec des réseaux de neurones récurrents», arXiv preprintarXiv: 1511.06939, 2015.
[3] .S. Wu, Y. Tang, Y. Zhu, L. Wang, X. Xie et T. Tan, «Recommandation basée sur la session avec des réseaux de neurones graphiques», dans Actes de la Conférence AAAI sur l'intelligence artificielle, vol. 33, 2019, pp. 346–353.
[4]. C. Xu, P. Zhao, Y. Liu, VS Sheng, J. Xu, F. Zhuang, J. Fang et X. Zhou, «Graph contextualized self-attention network for session-based recommendation.» inIJCAI, 2019, pp. 3940–3946.
[5]. S. Bai, JZ Kolter et V. Koltun, «Une évaluation empirique des réseaux convolutifs et récurrents génériques pour la modélisation de séquence», arXivpreprint arXiv: 1803.01271, 2018.
[6]. D. Jannach et M. Ludewig, «Quand les réseaux de neurones récurrents rencontrent le voisinage pour une recommandation basée sur la session», inRecSys '17, 2017.
[sept]. M. Wang, P. Ren, L. Mei, Z. Chen, J. Ma et M. de Rijke, «A collaborative session-based recommendation approach with parallel memory modules», dans Proceedings of the 42nd International ACM SIGIR Conference on Recherche et développement dans la recherche d'informations, 2019, pp. 345–354.
[8] .J. Li, P. Ren, Z. Chen, Z. Ren, T. Lian et J. Ma, «Neural attentive session-based recommendation», dans Proceedings of the 2017 ACM on Conference on Information and Knowledge Management, 2017, pp. 1419–1428.
[9]. W. Dong, C. Moses et K. Li, «Construction efficace de graphe de k-plus proche voisin pour des mesures de similarité génériques», dans Actes de la 20e conférence internationale sur le World Wide Web, 2011, pp. 577-586.
[10] .P. Veliˇckovi ́c, G. Cucurull, A. Casanova, A. Romero, P. Lio et Y. Bengio, «Graph attention networks», arXiv preprint arXiv: 1710.10903, 2017.
informations sur l'auteur
Les auteurs de cet article, Ye Rui, Zhang Qing et Heng Liang, viennent tous du département de technologie de croissance de la plateforme Meituan.
---------- FIN ----------
Offres d'emplois
Département de technologie de croissance des utilisateurs de Meituan, équipe de base de Meituan User Growth, recrutement à long terme d'ingénieurs en recherche, recommandation, algorithme PNL et back-end, situés à Pékin. Les étudiants intéressés peuvent soumettre leur curriculum vitae à: [email protected] (veuillez indiquer le sujet de l'e-mail: Meituan User Growth Technology Department).
Peut-être que tu veux toujours regarder
| CIKM 2020 | Une explication détaillée de 6 articles sélectionnés par Meituan
| Pratique d'algorithme recommandée