[Recommandé] Apprendre à système Rang

Apprendre à Rang

Dans certains scénarios recommandés, de considérer non seulement les prévisions d'émission, mais aussi tenir compte problème de planification. Par exemple, dans le scénario de requête, l'utilisateur sélectionne un élément souhaité de telle sorte que plus en avant dans les résultats du tri. Par exemple, j'utiliser la recherche Baidu pour une chose, je serai capable de me trouver ce que je veux sur la première page, dans ce cas serait beaucoup mieux que je ne voudrais aussi que la capacité à un tour peut trouver les résultats que je veux.

Modèle Classement:

Classement basé sur l'importance de montrer une structure basée uniquement entre les pages afin de déterminer l'importance du document, comme le PageRank, TrustRank et ainsi de suite.

Classement en fonction du degré de corrélation, étant donné que moins de facteurs à considérer PageRank classique, considérant généralement la corrélation avec le contenu du document, une fréquence de documents inverse, la longueur du document, et plusieurs facteurs, mais le processus de tri réel à considérer plus de fonctionnalités, telles que le nombre de mots pages de valeur pagerank et les documents correspondant à la requête, la longueur de l'adresse du lien URL de la page et ainsi avoir un impact sur le classement de la page. moteur de recherche d'apprentissage de la machine peut fournir de grandes quantités de besoin de données, par conséquent Classement converties en un apprentissage machine supervisé.

 

 

LRT de trois stratégies:

pointwise

Une idée est le degré de corrélation entre la requête et la doc comme une étiquette, telles que l'étiquette troisième vitesse, le problème devient un problème de classification multi-classe, le modèle a McRank, svm, entropie maximale. Une autre idée est que le degré de corrélation entre la requête et le document en tant que fraction en utilisant le modèle de régression, le modèle de régression a une régression linéaire classique, DNN, mart et ainsi de suite.

pairwise

méthode par paires est composé d'un document sur le document, non seulement envisager un seul document, mais le groupe de documents à examiner si elle est raisonnable, par exemple, trois requêtes 1 retourné le document doc1, Doc2, doc3, il y a trois groupes de façons, <doc1, Doc2> , <Doc2, doc3>, <doc1, doc3>. Lorsque les trois documents que 3,4,2 étiquette d'origine, après trois exemples de ce groupe d'avoir une nouvelle partition (expression de cet ordre est raisonnable), peut utiliser ces données pour l'apprentissage, des modèles tels Classifier que SVM rang, il RankNet (C. Burges, et al. ICML 2005), Fränk (M.Tsai, T.Liu, et al. SIGIR 2007), RankBoost (Y. Freund, et al. JMLR 2003).

Un problème est que la discrimination doc sur différents Pairwise score est le même, mais plus enclins à cliquer sur l'avant-garde des systèmes d'information qui se traduisent par l'utilisateur, il devrait se concentrer sur la surface supérieure la plus pertinente. Et la gamme de modèles disponibles ne sont pas à la performance de tri comme le but ultime, conduira les résultats classement final ne sont pas satisfaisants.

listwise

Pointwise l'ensemble de la formation dans chaque document comme un exemple de formation, méthode par paires avec l'un des résultats de la recherche d'une requête en deux comme un document de formation, par exemple, la méthode Listwise est de mettre tous les résultats de la recherche liste correspondant à chaque requête dans son ensemble comme Exemples de formation,

ListNet modèle commun, tel que le dispositif de distribution de la distance KL (entropie croisée) entre la probabilité prédite de séquençage correct et le tri en fonction de la perte, cadre LambdaMART est en fait MART, la principale innovation est calcul intermédiaire en utilisant Lambda gradient, semblable à évaluation IR NDCG dans cette dérivation ne peut pas être converti en un dérivé de la fonction et le gradient riche en sens physique.

Description de la politique:

pointwise:

L'avantage de cette méthode est simple, dans ce manque (ordre relatif entre doc) entre les informations de position de l'échantillon n'est pas considéré

L'objet de traitement est un document, le document sera converti en vecteurs de caractéristiques, les systèmes d'apprentissage de l'apprentissage automatique du document à la classification des documents ou la notation de la fonction de régression, résultat marquant est le tri des résultats de recherche. La figure est l'ensemble de la formation d'annotation manuelle:

 

 

Ce qui, l'étiquette est une corrélation, caractéristique est la requête et le document note Cosme de similarité, la valeur PageRank et la valeur des termes de la requête la page proximité.

Pour un système d'apprentissage automatique, en fonction des données d'apprentissage, le besoin d'une fonction linéaire de la notation: Score (Q, D) = A * B * + PM CS * PR + C + D

Si le score est supérieur au seuil fixé, il peut être considéré comme pertinent, si elle est inférieure à la valeur seuil fixé peut être considérée comme non pertinente. Par des exemples de formation, vous pouvez obtenir un un optimal, b, c, d combinaison de paramètres, lors de la détermination de ces paramètres, les systèmes d'apprentissage machine, même si la fin de l'apprentissage. Après fonction de score pour utiliser cette corrélation est déterminée.

Modèles disponibles:

LR, GBDT + lr

  

Listwise le problème d'ordonnancement dans un problème de classification binaire.

Comme le montre, pour la Q1 requête suivante, étiquetage manuel, le score le plus élevé Doc2 = 5, puis Doc3 4 minutes, le pire est Doc1 3 minutes, après ce qui a transformé la relation relative: Doc2> Doc1, Doc2> doc3, doc3> Doc1, de sorte que le problème peut être triés naturellement dans deux documents pour déterminer toute relation et tout juge commanderaient deux documents appelé un classement très familier.

 

Référence Classement SVM apprentissage au profil de Rank donne un bon exemple pour expliquer ce problème: Etant donné une requête q, le document d1> d2> d3 ( à savoir le document que le document d1 d2 documents connexes pertinents que les documents d2 d3, x1 , x2, x3 sont la caractéristique d1, d2, d3). Pour trier l'utilisation de l' apprentissage de la machine, nous réglerons un problème de classification. Nous définissons une nouvelle échantillons de formation, donc x1-x2, x1-x3, x2-x3 est échantillons positifs, faire le x2-x1, x3-x1, x3-x2 est des échantillons négatifs et la formation puis un deux classificateurs (SVM) de classer ces nouveaux échantillons de formation, comme indiqué ci - dessous:

Chaque ellipse figure représente un point d'interrogation dans le représentant de l'ellipse de ces documents, les triangles représentent et pour calculer le degré de corrélation est très pertinente pour la requête, les cercles représentent une corrélation générale, le nombre croix représente décorrélées. Nous transformons un seul document de gauche à droite dans le document (di, dj), carrés pleins représentent des échantillons positifs, que di> dj, carrés vides représentent des échantillons négatifs, c.-à-di <dj. Après le tri problème [] un problème de classification, nous pouvons utiliser une des méthodes d'apprentissage machine à commune pour résoudre le problème. Les principaux algorithmes: SVM Rank, RankBoost (2003), RankNet (2007)

 

listwise

Méthode de la colonne selon des documents obtenus des exemples de formation K de formation de la meilleure fonction de notation F, pour une nouvelle fonction de recherche F a marqué pour chaque document, puis triés par ordre décroissant de score, est les résultats de recherche correspondants.

 

 

La question clé est: obtenir les données de formation, la formation sur la façon d'obtenir la meilleure fonction de notation? Nous savons que pour les moteurs de recherche, un utilisateur entre une requête Q, le moteur retourne la recherche Résultats de la recherche, nous supposons que l'ensemble des résultats de recherche contenant A. B et C 3 documents, le moteur de recherche pour trier les résultats de recherche, et que les trois documents Il y a six permutations de mode de commande: ABC, ACB, sAC, BCA , CAB et ABC et chacun des permutations possibles des résultats de recherche sont triés. Pour une fonction de notation F, la corrélation des trois documents de résultats de recherche de notation, pour donner trois points de pertinence différents F (A), F (B ) et F (C), selon les trois scores peuvent être le calcul des combinaisons de six types d'agencement de la valeur de probabilité respective. Différentes fonctions de notation qui six types de permutations et de combinaisons de la distribution des résultats de recherche de probabilité n'est pas le même. décrit ici une méthode de formation, qui est la probabilité que les résultats de recherche basés sur la répartition des permutations et combinaisons pour former et de cette manière la figure est processus de formation schématique schématique.

La figure montre un exemple spécifique de la formation que les requêtes Q1 et scores correspondant trois documents, ce score est composé de jeu artificielle, on peut voir que la réponse standard. Il est envisagé qu'il existe une fonction g de marquage optimale, le Q1 de la requête, le résultat de pointage soit: un document 6 points, B Document 4 points, document C 3 points.

Notre tâche est de trouver une fonction que la fonction de la séquence de résultats de recherche notation Q1 et la séquence de notation manuelle aussi similaire que possible.

  Article de référence:
https://www.jianshu.com/p/ff9853a4892e
https://www.cnblogs.com/Lee-yl/p/11200535.html