You Reap What You Sow: On the Challenges of Bias Evaluation Under Multilingual Settings - Archive ouverte HAL Accéder directement au contenu
Communication Dans Un Congrès Année : 2022

You Reap What You Sow: On the Challenges of Bias Evaluation Under Multilingual Settings

Zeerak Talat
  • Fonction : Auteur
Stella Biderman
  • Fonction : Auteur
Miruna Clinciu
  • Fonction : Auteur
Manan Dey
  • Fonction : Auteur
Shayne Longpre
  • Fonction : Auteur
Sasha Luccioni
  • Fonction : Auteur
Maraim Masoud
  • Fonction : Auteur
Margaret Mitchell
  • Fonction : Auteur
Dragomir Radev
  • Fonction : Auteur
Shanya Sharma
  • Fonction : Auteur
Arjun Subramonian
  • Fonction : Auteur
Jaesung Tae
  • Fonction : Auteur
Samson Tan
  • Fonction : Auteur
Deepak Tunuguntla
  • Fonction : Auteur
Oskar van der Wal
  • Fonction : Auteur

Résumé

Evaluating bias, fairness, and social impact in monolingual language models is a difficult task. This challenge is further compounded when language modeling occurs in a multilingual context. Considering the implication of evaluation biases for large multilingual language models, we situate the discussion of bias evaluation within a wider context of social scientific research with computational work. We highlight three dimensions of developing multilingual bias evaluation frameworks: (1) increasing transparency through documentation, (2) expanding targets of bias beyond gender, and (3) addressing cultural differences that exist between languages. We further discuss the power dynamics and consequences of training large language models and recommend that researchers remain cognizant of the ramifications of developing such technologies.
Fichier principal
Vignette du fichier
Talat_BigScience_evaluationWG_biasFairnessSocialImpact_final.pdf (273.2 Ko) Télécharger le fichier
Origine : Fichiers produits par l'(les) auteur(s)

Dates et versions

hal-03812319 , version 1 (12-10-2022)

Identifiants

Citer

Zeerak Talat, Aurélie Névéol, Stella Biderman, Miruna Clinciu, Manan Dey, et al.. You Reap What You Sow: On the Challenges of Bias Evaluation Under Multilingual Settings. BigScience Episode #5 – ACL Workshop on Challenges & Perspectives in Creating Large Language Models,, May 2022, Dublin, Ireland. ⟨10.18653/v1/2022.bigscience-1.3⟩. ⟨hal-03812319⟩
15 Consultations
49 Téléchargements

Altmetric

Partager

Gmail Facebook X LinkedIn More