Décodage guidé par un discriminateur avec le Monte Carlo Tree Search pour la génération de texte contrainte - Archive ouverte HAL
Conference Papers Year : 2022

Discriminator-guided decoding with Monte Carlo Tree Search for constrained text generation

Décodage guidé par un discriminateur avec le Monte Carlo Tree Search pour la génération de texte contrainte

Abstract

In this paper, we explore how to control text generation at decoding time to satisfy certain constraints (eg. being non-toxic, conveying certain emotions...) without fine-tuning the language model. Precisely, we formalize constrained generation as a tree exploration process guided by a discriminator that indicates how well the associated sequence respects the constraint. We propose several original methods to search this generation tree, notably the Monte Carlo Tree Search (MCTS) which provides theoretical guarantees on the search efficiency.Through 3 tasks and 2 languages, we show that discriminator-guided MCTS decoding achieves state-of-the-art results without having to tune the language model. We also demonstrate that other proposed decoding methods based on re-ranking can be really effective when diversity among the generated propositions is encouraged.
Dans cet article, nous explorons comment contrôler la génération de texte au moment du décodage pour satisfaire certaines contraintes (e.g. être non toxique, transmettre certaines émotions...), sans nécessiter de ré-entrainer le modèle de langue. Pour cela, nous formalisons la génération sous contrainte comme un processus d’exploration d’arbre guidé par un discriminateur qui indique dans quelle mesure la séquence associée respecte la contrainte. Nous proposons plusieurs méthodes originales pour explorer cet arbre de génération, notamment le Monte Carlo Tree Search (MCTS) qui fournit des garanties théoriques sur l’efficacité de la recherche. Au travers d’expériences sur 3 jeux de données et 2 langues, nous montrons que le décodage par MCTS guidé par les discriminateurs permet d’obtenir des résultats à l’état-de-l’art. Nous démontrons également que d’autres méthodes de décodage que nous proposons, basées sur le re-ordonnancement, peuvent être réellement efficaces lorsque la diversité parmi les propositions générées est encouragée.
Fichier principal
Vignette du fichier
3532.pdf (489.7 Ko) Télécharger le fichier
Origin Publisher files allowed on an open archive

Dates and versions

hal-03701490 , version 1 (24-06-2022)

Identifiers

  • HAL Id : hal-03701490 , version 1

Cite

Antoine Chaffin, Vincent Claveau, Ewa Kijak. Décodage guidé par un discriminateur avec le Monte Carlo Tree Search pour la génération de texte contrainte. TALN 2022 - 29e conférence sur le Traitement Automatique des Langues Naturelles, Jun 2022, Avignon, France. pp.27-41. ⟨hal-03701490⟩
118 View
98 Download

Share

More