DACCORD : un jeu de données pour la Détection Automatique d'énonCés COntRaDictoires en français - Archive ouverte HAL Accéder directement au contenu
Communication Dans Un Congrès Année : 2023

DACCORD : a Dataset for Automated deteCtion of COntRaDictions between sentences in French

DACCORD : un jeu de données pour la Détection Automatique d'énonCés COntRaDictoires en français

Résumé

In NLP, the automatic detection of logical contradictions between statements is a binary classification task, in which a pair of sentences receives a label according to whether or not the two sentences contradict each other. This task has many potential applications, including combating disinformation. In this article, we present DACCORD, a new dataset dedicated to the task of automatically detecting contradictions between sentences in French. The dataset is currently composed of 1034 sentence pairs. It covers the themes of Russia's invasion of Ukraine in 2022, the Covid-19 pandemic, and the climate crisis. To highlight the possibilities of our dataset, we evaluate the performance of some recent Transformer models on it. We conclude that our dataset is considerably more challenging than the few existing datasets for French.
La tâche de détection automatique de contradictions logiques entre énoncés en TALN est une tâche de classification binaire, où chaque paire de phrases reçoit une étiquette selon que les deux phrases se contredisent ou non. Elle peut être utilisée afin de lutter contre la désinformation. Dans cet article, nous présentons DACCORD, un jeu de données dédié à la tâche de détection automatique de contradictions entre phrases en français. Le jeu de données élaboré est actuellement composé de 1034 paires de phrases. Il couvre les thématiques de l'invasion de la Russie en Ukraine en 2022, de la pandémie de Covid-19 et de la crise climatique. Pour mettre en avant les possibilités de notre jeu de données, nous évaluons les performances de certains modèles de transformeurs sur lui. Nous constatons qu'il constitue pour eux un défi plus élevé que les jeux de données existants pour le français, qui sont déjà peu nombreux.
Fichier principal
Vignette du fichier
459882.pdf (201.96 Ko) Télécharger le fichier
Origine Fichiers éditeurs autorisés sur une archive ouverte

Dates et versions

hal-04130173 , version 1 (20-06-2023)

Licence

Identifiants

  • HAL Id : hal-04130173 , version 1

Citer

Maximos Skandalis, Richard Moot, Simon Robillard. DACCORD : un jeu de données pour la Détection Automatique d'énonCés COntRaDictoires en français. CORIA-TALN 2023 - 30e Conférence sur le Traitement Automatique des Langues Naturelles, Jun 2023, Paris, France. pp.285-297. ⟨hal-04130173⟩
226 Consultations
64 Téléchargements

Partager

Gmail Mastodon Facebook X LinkedIn More