Modèles neuronaux pré-appris par auto-supervision sur des enregistrements de parole en français - Archive ouverte HAL Accéder directement au contenu
Communication Dans Un Congrès Année : 2022

Modèles neuronaux pré-appris par auto-supervision sur des enregistrements de parole en français

Salima Mdhaffar
Natalia Tomashenko
Alexandre Allauzen
  • Fonction : Auteur
Yannick Estève

Résumé

L'apprentissage auto-supervisé a ouvert des perspectives prometteuses dans de nombreux domaines comme la vision par ordinateur, le traitement automatique de la langue ou celui de la parole. Les modèles pré-appris sur de grandes quantités de données non étiquetées peuvent être ajustés sur de petits ensembles de données transcrites manuellement. Ceux de type wav2vec2.0 ont montré des performances remarquables pour la reconnaissance automatique de la parole. Les premiers modèles partagés à la communauté ayant été appris sur des données en anglais ou multilingues, nous proposons dans cet article sept modèles de type wav2vec2.0, appris sur 1 000, 3 000 et 7 000 heures de parole en français. Leur Apprentissage nécessitant des capacités de calcul très importantes, et dans un esprit de science ouverte, ceux-ci sont librement accessibles. Des résultats expérimentaux sur la reconnaissance automatique de la parole sont également présentés et confirment le bénéfice de l'utilisation de tels modèles.
Fichier principal
Vignette du fichier
Les modèles.pdf (287.34 Ko) Télécharger le fichier
Origine : Fichiers produits par l'(les) auteur(s)

Dates et versions

hal-03707064 , version 1 (28-06-2022)

Identifiants

  • HAL Id : hal-03707064 , version 1

Citer

Solène Evain, Ha Nguyen, Hang Le, Marcely Zanon Boito, Salima Mdhaffar, et al.. Modèles neuronaux pré-appris par auto-supervision sur des enregistrements de parole en français. JEP 2022, Jun 2022, île de Noirmoutier, France. ⟨hal-03707064⟩
123 Consultations
199 Téléchargements

Partager

Gmail Facebook X LinkedIn More