Error Types in Transformer-Based Paraphrasing Models: A Taxonomy, Paraphrase Annotation Model and Dataset - Archive ouverte HAL
Communication Dans Un Congrès Année : 2024

Error Types in Transformer-Based Paraphrasing Models: A Taxonomy, Paraphrase Annotation Model and Dataset

Types d'erreurs dans les modèles de paraphrase basés sur des transformeurs : Une taxonomie, un modèle d'annotation de paraphrase et un ensemble de données

Résumé

Developing task-oriented bots requires diverse sets of annotated user utterances to learn mappings between natural language utterances and user intents. Automated paraphrase generation offers a cost-effective and scalable approach for generating varied training samples by creating different versions of the same utterance. However, existing sequence-to-sequence models used in automated paraphrasing often suffer from errors, such as repetition and grammar. Identifying these errors, particularly in transformer architectures, has become a challenge. In this paper, we propose a taxonomy of errors encountered in transformer-based paraphrase generation models based on a comprehensive error analysis of transformer-generated paraphrases. Leveraging this taxonomy, we introduced the Transformer-based Paraphrasing Model Errors dataset, consisting of 5880 annotated paraphrases labeled with error types and explanations. Additionally, we developed a novel multi label paraphrase annotation model by fine-tuning a BERT model for error annotation task. Evaluation against human annotations demonstrates significant agreement, with the model showing robust performance in predicting error labels, even for unseen paraphrases.
Le développement de bots orientés tâches nécessite divers ensembles d'énoncés utilisateur annotés afin d'apprendre les correspondances entre les énoncés en langage naturel et les intentions de l'utilisateur. La génération automatisée de paraphrases offre une approche rentable et évolutive pour générer des exemples d'apprentissage variés en créant différentes versions du même énoncé. Cependant, les modèles séquence à séquence existants utilisés dans la paraphrase automatisée souffrent souvent d'erreurs, telles que la répétitivité et la grammaire. L'identification de ces erreurs, en particulier dans les architectures de transformateur, est devenue un défi. Dans cet article, nous proposons une taxonomie des erreurs rencontrées dans les modèles de génération de paraphrases à base de transformeurs, basée sur une analyse complète des erreurs des paraphrases générées par les transformeurs. En nous appuyant sur cette taxonomie, nous avons introduit le jeu de données Transformer-based Paraphrasing Model Errors, composé de 5880 paraphrases annotées et étiquetées avec des types d'erreurs et leurs explications. En outre, nous avons développé un nouveau modèle d'annotation de paraphrases à labels multiples en affinant un modèle BERT pour la tâche d'annotation d'erreurs. L'évaluation par rapport aux annotations humaines montre un accord significatif, avec le modèle montrant une performance robuste dans la prédiction des erreurs, même pour les paraphrases non vues.
Fichier principal
Vignette du fichier
ECMLPKDD_2024_Taxonomy_of_Error_in_Transformer.pdf (448.56 Ko) Télécharger le fichier
Origine Fichiers produits par l'(les) auteur(s)

Dates et versions

hal-04794744 , version 1 (21-11-2024)

Identifiants

Citer

Auday Berro, Boualem Benatallah, Yacine Gaci, Khalid Benabdeslem. Error Types in Transformer-Based Paraphrasing Models: A Taxonomy, Paraphrase Annotation Model and Dataset. ECML PKDD 2024, European Conference on Machine Learning and Principles and Practice of Knowledge Discovery in Databases, Sep 2024, Vilnius, Lithuania. pp.332-349, ⟨10.1007/978-3-031-70341-6_20⟩. ⟨hal-04794744⟩
0 Consultations
0 Téléchargements

Altmetric

Partager

More