Enrichissement de corpus par approche générative et impact sur les modèles de reconnaissance d'entités nommées
Résumé
Industrial applications of Named Entity Recognition (NER) are usually confronted with imbalanced corpora.
This could harm the performance of trained and finetuned models, especially when they encounter to unknown data.
In this paper we develop two generation-based data enrichment approaches, in order to raise the number of examples of underrepresented entities.
We compare the impact of enriched corpora on NER models, using both non-contextual (fastText) and contextual (Bert-like) embedding models, and a biLSTM-CRF as entity classifier.
The approach is evaluated on a contract renewal detection task applied to a corpus of calls for tenders.
The results show that the proposed enrichment significantly improves the model's effectiveness when applied on data that have not been used for training, while not degrading the model's performance on the original test set.
Les applications industrielles de la reconnaissance d'entités nommées (REN) sont souvent confrontées à des corpus déséquilibrés. Ceci est en général nuisible à l'efficacité des modèles entraînés, notamment lorsqu'ils sont soumis à de nouvelles données. Dans cet article nous développons deux approches génératives pour enrichir des corpus dans le but d'améliorer la proportion des entités. Nous comparons l'impact de ces enrichissements sur des modèles de REN, en utilisant différents types de plongements lexicaux non-contextuels et contextuels exploités dans un modèle biLSTM-CRF en charge de l'extraction des entités. L'approche est évaluée sur une tâche de détection de reconduction de marché appliquée à un corpus constitué d'appels d'offres. Les résultats montrent d'une part que l'enrichissement proposé ne dégrade pas les résultats de détection sur le corpus initial et d'autre part améliore de manière significative les taux de détection sur un corpus n'ayant pas participé à l'apprentissage.