Extraction de relations sémantiques et modèles de langue : pour une relation à double sens - Archive ouverte HAL Accéder directement au contenu
Communication Dans Un Congrès Année : 2023

Extraction de relations sémantiques et modèles de langue : pour une relation à double sens

Résumé

Les modèles de langue contextuels se sont rapidement imposés comme des outils essentiels du Traitement Automatique des Langues. Néanmoins, certains travaux ont montré que leurs capacités en termes de sémantique lexicale ne les distinguent pas vraiment sur ce plan de modèles plus anciens, comme les modèles statiques ou les modèles à base de comptes. Une des façons d'améliorer ces capacités est d'injecter dans les modèles contextuels des connaissances sémantiques. Dans cet article, nous proposons une méthode pour réaliser cette injection en nous appuyant sur des connaissances extraites automatiquement. Par ailleurs, nous proposons d'extraire de telles connaissances par deux voies différentes, l'une s'appuyant sur un modèle de langue statique, l'autre sur un modèle contextuel. Des évaluations réalisées pour l'anglais et focalisées sur la similarité sémantique ont montré l'intérêt de cette démarche, permettant d'enrichir sémantiquement un modèle de type BERT sans utilisation de ressources sémantiques externes.
Fichier principal
Vignette du fichier
461956.pdf (280.62 Ko) Télécharger le fichier
Origine : Fichiers éditeurs autorisés sur une archive ouverte

Dates et versions

hal-04130150 , version 1 (20-06-2023)

Identifiants

  • HAL Id : hal-04130150 , version 1

Citer

Olivier Ferret. Extraction de relations sémantiques et modèles de langue : pour une relation à double sens. 18e Conférence en Recherche d'Information et Applications -- 16e Rencontres Jeunes Chercheurs en RI -- 30e Conférence sur le Traitement Automatique des Langues Naturelles -- 25e Rencontre des Étudiants Chercheurs en Informatique pour le Traitement Automatique des Langues, 2023, Paris, France. pp.123-136. ⟨hal-04130150⟩
31 Consultations
4 Téléchargements

Partager

Gmail Facebook X LinkedIn More