Benchmarking French Transformer models for Spoken Language Understanding
Étude comparative de modèles Transformers en compréhension de la parole en français
Abstract
Over the last five years, transfer approaches using Transformer-like models have established the state of the art on many tasks in Natural Language Understanding. These approaches are becoming increasingly popular and require large amounts of data and computational resources. Most of the pre-trained language models have been extensively studied in English and only a few of them have been evaluated on a French spoken language understanding task. In this paper, we propose a baseline overview, focusing on the quality evaluation of thirteen well-established models based on Transformers models. The two spoken language understanding tasks considered are MEDIA and ATIS-FR.
Au cours des cinq dernières années, les approches par transfert utilisant les modèles de type Transformers ont établit l'État de l'Art sur de nombreuses tâches du Traitement Automatique des Langues. Ces approches deviennent de plus en plus populaires et nécessitent une grande quantité de données et de ressources computationnelles. La plupart des modèles de langue pré-entraînés ont fait l'objet de nombreuses études en anglais et seulement quelques-uns d'entre eux ont été évalués sur une tâche de compréhension de la parole en français. Dans cet article, nous proposons un tour d'horizon de référence, axé sur l'évaluation de la qualité de treize modèles bien établis basés sur les modèles Transformers. Les deux tâches de compréhension de la parole considérées sont MEDIA et ATIS-FR.
| Origin | Files produced by the author(s) |
|---|