The BigScience ROOTS Corpus: A 1.6TB Composite Multilingual Dataset - Archive ouverte HAL Accéder directement au contenu
Communication Dans Un Congrès Année : 2022

The BigScience ROOTS Corpus: A 1.6TB Composite Multilingual Dataset

Hugo Laurençon
  • Fonction : Auteur
Lucile Saulnier
  • Fonction : Auteur
Thomas Wang
  • Fonction : Auteur
Teven Le Scao
  • Fonction : Auteur
Leandro von Werra
  • Fonction : Auteur
Huu Nguyen
  • Fonction : Auteur
Jörg Frohberg
  • Fonction : Auteur
Mario Šaško
  • Fonction : Auteur
Quentin Lhoest
  • Fonction : Auteur
Gérard Dupont
  • Fonction : Auteur
Loubna Ben Allal
  • Fonction : Auteur
Giada Pistilli
  • Fonction : Auteur
Olivier Nguyen
  • Fonction : Auteur
Pierre Colombo
  • Fonction : Auteur
Tristan Thrush
  • Fonction : Auteur
Sebastian Nagel
  • Fonction : Auteur
Manuel Romero Muñoz
  • Fonction : Auteur
Vu Minh Chien
  • Fonction : Auteur
Manan Dey
  • Fonction : Auteur
SAP
Long Phan
  • Fonction : Auteur
Hieu Tran
  • Fonction : Auteur
Ian Yu
  • Fonction : Auteur
Suhas Pai
  • Fonction : Auteur
Violette Lepercq
  • Fonction : Auteur
Suzana Ilić
  • Fonction : Auteur
Margaret Mitchell
  • Fonction : Auteur
Sasha Luccioni
  • Fonction : Auteur
Yacine Jernite
  • Fonction : Auteur

Résumé

As language models grow ever larger, the need for large-scale high-quality text datasets has never been more pressing, especially in multilingual settings. The BigScience workshop, a 1-year international and multidisciplinary initiative, was formed with the goal of researching and training large language models as a values-driven undertaking, putting issues of ethics, harm, and governance in the foreground. This paper documents the data creation and curation efforts undertaken by BigScience to assemble the Responsible Open-science Open-collaboration Text Sources (ROOTS) corpus, a 1.6TB dataset spanning 59 languages that was used to train the 176-billion-parameter BigScience Large Open-science Open-access Multilingual (BLOOM) language model. We further release a large initial subset of the corpus and analyses thereof, and hope to empower large-scale monolingual and multilingual modeling projects with both the data and the processing tools, as well as stimulate research around this large multilingual corpus.
Fichier principal
Vignette du fichier
the_bigscience_roots_corpus_a_.pdf (2.17 Mo) Télécharger le fichier
Origine : Fichiers éditeurs autorisés sur une archive ouverte

Dates et versions

hal-03823922 , version 1 (21-10-2022)

Licence

Paternité

Identifiants

  • HAL Id : hal-03823922 , version 1

Citer

Hugo Laurençon, Lucile Saulnier, Thomas Wang, Christopher Akiki, Albert Villanova del Moral, et al.. The BigScience ROOTS Corpus: A 1.6TB Composite Multilingual Dataset. Thirty-sixth Conference on Neural Information Processing Systems Datasets and Benchmarks Track, Nov 2022, New Orleans, United States. ⟨hal-03823922⟩

Collections

CENTRALESUPELEC
434 Consultations
236 Téléchargements

Partager

Gmail Facebook X LinkedIn More