Defining And Detecting Inconsistent System Behavior in Task-oriented Dialogues - Actes de la conférence Traitement Automatique des Langues Naturelles (TALN, 28e édition) et Rencontre des Étudiants Chercheurs en Informatique pour le Traitement Automatique des Langues Access content directly
Conference Papers Year : 2021

Defining And Detecting Inconsistent System Behavior in Task-oriented Dialogues

Définition et détection des incohérences du système dans les dialogues orientés tâche.

Vojtech Hudecek
  • Function : Author
  • PersonId : 1102652
Daniel Stancl
  • Function : Author
  • PersonId : 1102653
Ondrej Dusek
  • Function : Author
  • PersonId : 1102654

Abstract

Définition et détection des incohérences du système dans les dialogues orientés tâche. Nous présentons des expériences sur la détection automatique des comportements incohérents des systèmes de dialogues orientés tâche à partir du contexte. Nous enrichissons les données bAbI/DSTC2 (Bordes et al., 2017) avec une annotation automatique des incohérences de dialogue, et nous démontrons que les incohérences sont en corrélation avec les dialogues ratés. Nous supposons que l’utilisation d’un historique de dialogue limité et la prédiction du prochain tour de l’utilisateur peuvent améliorer la classification des incohérences. Si les deux hypothèses sont confirmées pour un modèle de dialogue basé sur les réseaux de mémoire, elles ne le sont pas pour un entraînement basé sur le modèle de langage GPT-2, qui bénéficie le plus de l’utilisation de l’historique complet du dialogue et obtient un score de précision de 0,99.
Fichier principal
Vignette du fichier
32.pdf (309.79 Ko) Télécharger le fichier
Origin : Publisher files allowed on an open archive

Dates and versions

hal-03265892 , version 1 (23-06-2021)

Identifiers

  • HAL Id : hal-03265892 , version 1

Cite

Léon-Paul Schaub, Vojtech Hudecek, Daniel Stancl, Ondrej Dusek, Patrick Paroubek. Defining And Detecting Inconsistent System Behavior in Task-oriented Dialogues. Traitement Automatique des Langues Naturelles, 2021, Lille, France. pp.142-152. ⟨hal-03265892⟩
109 View
339 Download

Share

Gmail Facebook X LinkedIn More