Implémentation ouverte et étude de BEST-RQ pour le traitement de la parole - Archive ouverte HAL
Communication Dans Un Congrès Année : 2021

Open Implementation and Study of BEST-RQ for Speech Processing

Implémentation ouverte et étude de BEST-RQ pour le traitement de la parole

Résumé

Self-Supervised Learning (SSL) has proven to be useful in various speech tasks. However, these methods are generally very resource demanding. BERT-based Speech pre-Training with Random-projection Quantizer (BEST-RQ), is an SSL method that has shown great performance on Automatic Speech Recognition (ASR) while being simpler than other SSL methods, such as wav2vec 2.0. Despite BEST-RQ’s great performance, details are lacking in the original paper, such as the amount of GPU/TPU hours used in pre-training, and there is no official easy-to-use open-source implementation. Furthermore, BEST-RQ has not been evaluated on other downstream tasks aside from ASR and speech translation. In this work, we describe a re-implementation of BEST-RQ and perform a preliminary study with a comparison to wav2vec 2.0 on four downstream tasks. We discuss the details of our implementation. We show BEST-RQ can achieve similar downstream performance as wav2vec 2.0 while decreasing training time by over a factor of two.
L'apprentissage auto-supervisé (SSL) a fait ses preuves pour le traitement automatique de la parole mais est généralement très consommateur de données, de mémoire et de ressources matérielles. L'approche BEST-RQ (BERT-based Speech pre-Training with Random-projection Quantizer) est une approche SSL performante en reconnaissance automatique de la parole (RAP), plus efficiente que wav2vec 2.0. L'article original de Google qui introduit BEST-RQ manque de détails, comme le nombre d'heures de GPU/TPU utilisées pour le pré-entraînement et il n'existe pas d'implémentation open-source facile à utiliser. De plus, BEST-RQ n'a pas été évalué sur d'autres tâches que la RAP et la traduction de la parole. Dans cet article, nous décrivons notre implémentation open-source de BEST-RQ et réalisons une première étude en le comparant à wav2vec 2.0 sur quatre tâches. Nous montrons que BERT-RQ peut atteindre des performances similaires à celles de wav2vec 2.0 tout en réduisant le temps d'apprentissage d'un facteur supérieur à deux.
Fichier principal
Vignette du fichier
2024.jeptalnrecital-jep.42.pdf (324.67 Ko) Télécharger le fichier
Origine Fichiers produits par l'(les) auteur(s)

Dates et versions

hal-04732319 , version 1 (11-10-2024)

Licence

Identifiants

  • HAL Id : hal-04732319 , version 1

Citer

Ryan Whetten, Titouan Parcollet, Marco Dinarelli, Yannick Estève. Implémentation ouverte et étude de BEST-RQ pour le traitement de la parole. 35èmes Journées d'Étude de la Parole (JEP), Jul 2024, Toulouse, France. pp.412-420. ⟨hal-04732319⟩
0 Consultations
0 Téléchargements

Partager

More