Defining And Detecting Inconsistent System Behavior in Task-oriented Dialogues - Actes de la conférence Traitement Automatique des Langues Naturelles (TALN, 28e édition) et Rencontre des Étudiants Chercheurs en Informatique pour le Traitement Automatique des Langues
Communication Dans Un Congrès Année : 2021

Defining And Detecting Inconsistent System Behavior in Task-oriented Dialogues

Définition et détection des incohérences du système dans les dialogues orientés tâche.

Vojtech Hudecek
  • Fonction : Auteur
  • PersonId : 1102652
Daniel Stancl
  • Fonction : Auteur
  • PersonId : 1102653
Ondrej Dusek
  • Fonction : Auteur
  • PersonId : 1102654

Résumé

Définition et détection des incohérences du système dans les dialogues orientés tâche. Nous présentons des expériences sur la détection automatique des comportements incohérents des systèmes de dialogues orientés tâche à partir du contexte. Nous enrichissons les données bAbI/DSTC2 (Bordes et al., 2017) avec une annotation automatique des incohérences de dialogue, et nous démontrons que les incohérences sont en corrélation avec les dialogues ratés. Nous supposons que l’utilisation d’un historique de dialogue limité et la prédiction du prochain tour de l’utilisateur peuvent améliorer la classification des incohérences. Si les deux hypothèses sont confirmées pour un modèle de dialogue basé sur les réseaux de mémoire, elles ne le sont pas pour un entraînement basé sur le modèle de langage GPT-2, qui bénéficie le plus de l’utilisation de l’historique complet du dialogue et obtient un score de précision de 0,99.
Fichier principal
Vignette du fichier
32.pdf (309.79 Ko) Télécharger le fichier
Origine Fichiers éditeurs autorisés sur une archive ouverte

Dates et versions

hal-03265892 , version 1 (23-06-2021)

Identifiants

  • HAL Id : hal-03265892 , version 1

Citer

Léon-Paul Schaub, Vojtech Hudecek, Daniel Stancl, Ondrej Dusek, Patrick Paroubek. Defining And Detecting Inconsistent System Behavior in Task-oriented Dialogues. Traitement Automatique des Langues Naturelles, 2021, Lille, France. pp.142-152. ⟨hal-03265892⟩
141 Consultations
384 Téléchargements

Partager

More