Lignes directrices pour soumettre des questions sur l'extraction de relations sociales

Lignes directrices pour soumettre des questions sur l'extraction de relations sociales

1. Contexte du concours

Cette fois, je présenterai principalement l'un des sujets du concours d'informatique en sciences sociales --- l'extraction des relations sociales.

1. Développement technologique

• L'extraction de relations (Relationship Extraction, RE) est une tâche importante de l'extraction d'informations , et son objectif est d'extraire la relation entre les entités du texte. Le processus de développement de la technologie RE comporte principalement les étapes suivantes :
• 1. Étape de mise en correspondance des règles et des modèles . Les premiers systèmes d'ER reposaient principalement sur des règles et des modèles construits artificiellement pour identifier les relations , et les systèmes représentatifs incluent FASTUS , SRV, etc. De telles méthodes dépendent fortement de la connaissance du domaine , ont une faible portabilité et ne conviennent pas aux applications à grande échelle.
• 2. Phase d'ingénierie des fonctionnalités . Avec le développement de l'apprentissage automatique , le système RE au stade de l'ingénierie des fonctionnalités a commencé à émerger au fur et à mesure que le temps l'exige , s'appuyant sur les fonctionnalités NLP et les algorithmes d'apprentissage automatique pour identifier les relations , les systèmes représentatifs incluent minipar , Snowball, etc. L'effet de ce type de méthode a été amélioré , mais la charge de travail des fonctionnalités est importante et l'efficacité de l'exploration est faible.
• 3. La phase de la méthode nucléaire . Au début du 21e siècle , la méthode du noyau était largement utilisée dans le domaine de l'apprentissage automatique , et la méthode du noyau a également été introduite dans la tâche RE , en utilisant des méthodes de classification et de régression multi-classes pour la classification des relations . RBF , SVR , etc. Ces méthodes permettent d'obtenir des résultats de pointe sur plusieurs ensembles de données.
• 4. Étape de la méthode du réseau de neurones . Ces dernières années , la technologie d'apprentissage en profondeur s'est développée rapidement et divers réseaux de neurones ont été largement utilisés dans les tâches de la PNL , et l'ER ne fait pas exception. Le réseau neuronal profond basé sur CNN , RNN et le mécanisme d'attention est devenu la méthode de modélisation principale de RE , et les systèmes représentatifs incluent CNN , LSTM , BiLSTM , BERT , etc. Ces méthodes permettent d'obtenir des résultats de pointe sur plusieurs ensembles de données RE .
• 5. Apprentissage par transfert et étape d'apprentissage multi-tâches . La dernière étape de la méthode RE commence à considérer la corrélation interne entre différents types de relations , en utilisant l'idée d'apprentissage par transfert et d'apprentissage multitâche , afin que le modèle RE puisse apprendre la connaissance d'autres relations tout en apprenant une relation , améliorant ainsi l'effet global. Il s'agit d'une nouvelle tendance dans le développement de la technologie RE .

Par conséquent , le développement de la technologie RE est passé par le processus des règles à l'apprentissage en profondeur , de la tâche unique à l'apprentissage par transfert. Avec le développement de modèles et de technologies , l'effet du système RE est également continuellement amélioré.

2. Difficultés techniques

• Étant donné que les relations dans le monde réel sont complexes et diverses, les relations implicites et indirectes sont faciles à ignorer et les données de relation sont plus rares que les données d'entité, de sorte que l'identification des relations est plus difficile. Dans cette compétition, l'apprentissage par transfert est utilisé pour généraliser la reconnaissance des relations sur de nouvelles données. Il est recommandé que tout le monde s'inspire de l'idée de l'apprentissage par transfert pour entraîner le modèle.

2. Question de référence

Si vous choisissez la ligne de base pour l'extraction relationnelle, vous pouvez lire ce guide

Étape 1 : Téléchargez sur le site officiel, formez une équipe, inscrivez-vous au cours de développement de l'intelligence artificielle Mo, à la formation à la programmation de l'intelligence artificielle IA, à la plate-forme/institution/cours de formation, apprenez la programmation IA en ligne et visitez le site officiel.

Étape 2 : Sélectionnez la piste pour l'extraction de la relation, entrez dans l'environnement et attendez que l'initialisation soit terminée

Étape 3 : Sélectionnez main.ipynb dans la colonne de répertoire à gauche et lisez le code dans main.ipynb

Étape 4 : Utilisez Maj+Entrée pour exécuter tour à tour chaque bloc de code

 

Étape 5 : Vous pouvez définir les paramètres pertinents en fonction de votre situation actuelle. Ici, pour plus de simplicité, définissez num_epochs sur 1

Étape 6 : Exécuter la cellule formée et commencer à affiner le modèle pré-formé

 

Étape 7 : Après un réglage fin, vous pouvez voir le modèle formé sous uie_nano_pytorch

Étape 8 : Continuez à faire fonctionner la cellule et convertissez le modèle de torche en modèle onnx

Étape 9 : Vous pouvez voir le fichier inference.onnx exporté sous uie_nano_pytorch

Étape 10 : Commencez à convertir onnx en bmodel, ouvrez d'abord un nouveau terminal 

Basculez vers le répertoire convert et exécutez les quatre lignes de code suivantes

Étape 11 : Ensuite, vous pouvez voir le fichier bmodel dans le répertoire convert

Étape 12 : Maintenant, nous commençons à soumettre, d'abord nous cliquons sur soumettre et générons le fichier de soumission

 

Étape 13 : Sélectionnez le fichier main.ipynb, nous ne soumettons que la dernière cellule

Étape 14 : Après le test, nous vérifierons tous

Étape 15 : Une fois le test terminé, vous pouvez commencer à soumettre ~

Étape 16 : Vous pouvez également générer des fichiers py et utiliser le GPU pour la formation du modèle

3. Soumission des questions

Lorsque vous avez terminé les tâches ci-dessus, vous êtes prêt à soumettre. La check-list de soumission est la suivante :

• Fichier de modèle bmodel converti

• fichier main.py contenant bmodel_name et model_name

•  Autres poids et fichiers de modèle associés
  Ensuite, vous pouvez cliquer sur le bouton de test sur le côté gauche du projet pour vérifier si le modèle réussit le test d'interface et le score sur l'ensemble de test. Je dois rappeler à tout le monde qu'il n'y a pas de limite au nombre de tests de modèles par jour et que vous pouvez tester d'innombrables fois pour améliorer en permanence les performances de votre modèle. L'environnement d'inférence du modèle est un environnement CPU et le modèle utilisé pour l'inférence est le fichier de modèle d'origine avant la conversion, et non le modèle au format bmodel.

Lorsque vous avez terminé les tests et estimez que le modèle a répondu à vos attentes, vous pouvez le soumettre.

Veuillez noter que la date limite pour la compétition préliminaire est le 26 mai et qu'il n'y a qu'une seule chance de soumettre pendant la compétition préliminaire , les joueurs doivent donc réfléchir attentivement. Nous vous recommandons d'examiner attentivement les résultats de votre modèle pour en vérifier l'exactitude et l'exhaustivité avant de les soumettre.