CreoleVal: Multilingual Multitask Benchmarks for Creoles - Archive ouverte HAL Accéder directement au contenu
Pré-Publication, Document De Travail Année : 2023

CreoleVal: Multilingual Multitask Benchmarks for Creoles

Heather Lent
  • Fonction : Auteur
Kushal Tatariya
  • Fonction : Auteur
Raj Dabre
  • Fonction : Auteur
Yiyi Chen
  • Fonction : Auteur
Marcell Fekete
  • Fonction : Auteur
Esther Ploeger
  • Fonction : Auteur
Li Zhou
  • Fonction : Auteur
Hans Erik Heje
  • Fonction : Auteur
Diptesh Kanojia
  • Fonction : Auteur
Paul Belony
  • Fonction : Auteur
Marcel Bollmann
  • Fonction : Auteur
Miryam de Lhoneux
  • Fonction : Auteur
Daniel Hershcovich
  • Fonction : Auteur
Michel Degraff
  • Fonction : Auteur
Anders Søgaard
  • Fonction : Auteur
Johannes Bjerva
  • Fonction : Auteur

Résumé

Creoles represent an under-explored and marginalized group of languages, with few available resources for NLP research. While the genealogical ties between Creoles and other highly-resourced languages imply a significant potential for transfer learning, this potential is hampered due to this lack of annotated data. In this work we present CreoleVal, a collection of benchmark datasets spanning 8 different NLP tasks, covering up to 28 Creole languages; it is an aggregate of brand new development datasets for machine comprehension, relation classification, and machine translation for Creoles, in addition to a practical gateway to a handful of preexisting benchmarks. For each benchmark, we conduct baseline experiments in a zero-shot setting in order to further ascertain the capabilities and limitations of transfer learning for Creoles. Ultimately, the goal of CreoleVal is to empower research on Creoles in NLP and computational linguistics. We hope this resource will contribute to technological inclusion for Creole language users around the globe.

Dates et versions

hal-04490003 , version 1 (05-03-2024)

Identifiants

Citer

Heather Lent, Kushal Tatariya, Raj Dabre, Yiyi Chen, Marcell Fekete, et al.. CreoleVal: Multilingual Multitask Benchmarks for Creoles. 2024. ⟨hal-04490003⟩
5 Consultations
0 Téléchargements

Altmetric

Partager

Gmail Facebook X LinkedIn More