Pistes pour l'optimisation de modèles de parsing syntaxique
Résumé
Avec l'avènement de technologies d'apprentissage profond, toute analyse syntaxique automatique d'un corpus textuel présuppose l'utilisation de "systèmes d'annotation" (Renwick & Kraif 2024) :
1) un analyseur syntaxique automatique,
2) un gros modèle de langue, ou LLM (issu d'un apprentissage non-supervisé), et
3) un corpus d'entraînement pour l'entraînement supervisé qui permet l'acquisition du schéma d'annotation (en l'occurrence, parsing et tagging dans le système Universal Dependencies (UD), de Marneffe et al., 2021) et des traits linguistiques spécifiques.
La distance en ce qui concerne la variété linguistique (dont les variétés diachronique et diatopique) ainsi que celle de genre ou de registre a un impact sur la performance. L'attention portée à la qualité du corpus d'entraînement pour l'apprentissage supervisé, néanmoins, peut être étendue aux autres étapes du processus d'annotation agile afin d'optimiser l'injection des caractéristiques du corpus cible dans le système de parsing. Nous avançons deux hypothèses :
1) que l'introduction d'une étape supplémentaire avant l'acquisition du schéma d'annotation peut apporter un gain de performance et
2) que la qualité et échantillonnage des "sous-corpus de finetuning" (post-apprentissage du schéma d'annotation) peut augmenter les performances du système d'annotation lors d'entraînements progressifs.
1) un analyseur syntaxique automatique,
2) un gros modèle de langue, ou LLM (issu d'un apprentissage non-supervisé), et
3) un corpus d'entraînement pour l'entraînement supervisé qui permet l'acquisition du schéma d'annotation (en l'occurrence, parsing et tagging dans le système Universal Dependencies (UD), de Marneffe et al., 2021) et des traits linguistiques spécifiques.
La distance en ce qui concerne la variété linguistique (dont les variétés diachronique et diatopique) ainsi que celle de genre ou de registre a un impact sur la performance. L'attention portée à la qualité du corpus d'entraînement pour l'apprentissage supervisé, néanmoins, peut être étendue aux autres étapes du processus d'annotation agile afin d'optimiser l'injection des caractéristiques du corpus cible dans le système de parsing. Nous avançons deux hypothèses :
1) que l'introduction d'une étape supplémentaire avant l'acquisition du schéma d'annotation peut apporter un gain de performance et
2) que la qualité et échantillonnage des "sous-corpus de finetuning" (post-apprentissage du schéma d'annotation) peut augmenter les performances du système d'annotation lors d'entraînements progressifs.
Origine | Fichiers produits par l'(les) auteur(s) |
---|