Augmentation des modèles de langage français par graphes de connaissances pour la reconnaissance des entités biomédicales - Archive ouverte HAL Accéder directement au contenu
Communication Dans Un Congrès Année : 2023

Augmentation des modèles de langage français par graphes de connaissances pour la reconnaissance des entités biomédicales

Résumé

Des travaux récents dans le domaine du traitement du langage naturel ont démontré l'efficacité des modèles de langage pré-entraînés pour une grande variété d'applications générales. Les modèles de langage à grande échelle acquièrent généralement ces capacités en modélisant la distribution statistique des mots par un apprentissage auto-supervisé sur de grandes quantités de texte. Toutefois, pour les domaines spécialisés à faibles ressources, tels que le traitement de documents cliniques, en particulier dans des langues autres que l'anglais, la nécessité d'intégrer des connaissances structurées reste d'une grande importance. Cet article se concentre sur l'une de ces applications spécialisées de la modélisation du langage à partir de ressources limitées : l'extraction d'informations à partir de documents biomédicaux et cliniques en français. En particulier, nous montrons qu'en complétant le pré-entraînement en mots masqués des réseaux neuronaux transformer par des objectifs de prédiction extraits d'une base de connaissances biomédicales, leurs performances sur deux tâches différentes de reconnaissance d'entités nommées en français peuvent être augmentées.
Fichier principal
Vignette du fichier
461887.pdf (269.95 Ko) Télécharger le fichier
Origine : Fichiers éditeurs autorisés sur une archive ouverte

Dates et versions

hal-04130185 , version 1 (20-06-2023)

Identifiants

  • HAL Id : hal-04130185 , version 1

Citer

Aidan Mannion, Schwab Didier, Lorraine Goeuriot, Thierry Chevalier. Augmentation des modèles de langage français par graphes de connaissances pour la reconnaissance des entités biomédicales. 18e Conférence en Recherche d'Information et Applications -- 16e Rencontres Jeunes Chercheurs en RI -- 30e Conférence sur le Traitement Automatique des Langues Naturelles -- 25e Rencontre des Étudiants Chercheurs en Informatique pour le Traitement Automatique des Langues, 2023, Paris, France. pp.177-189. ⟨hal-04130185⟩
42 Consultations
20 Téléchargements

Partager

Gmail Facebook X LinkedIn More