Normalisation lexicale de contenus générés par les utilisateurs sur les réseaux sociaux - Archive ouverte HAL
Conference Papers Year : 2023

Lexical normalisation of user-generated content on social media

Normalisation lexicale de contenus générés par les utilisateurs sur les réseaux sociaux

Abstract

The boom of natural language processing (NLP) is taking place in a world where more and more content is produced online. On social networks especially, textual content published by users are full of “non-standard” phenomena such as spelling mistakes, jargon, marks of expressiveness, etc. Thus, NLP models, which are largely trained on “standard” data, suffer a decline in performance when applied to user-generated content (UGC). One approach to mitigate this degradation is through lexical normalisation where non-standard words are replaced by their standard forms. In this paper, we review the state of the art of lexical normalisation of UGC, as well as run a preliminary experimental study to show the advantages and difficulties of this task.
L'essor du traitement automatique des langues (TAL) se vit dans un monde où l'on produit de plus en plus de contenus en ligne. En particulier sur les réseaux sociaux, les textes publiés par les internautes sont remplis de phénomènes « non standards » tels que les fautes d'orthographe, l'argot, les marques d'expressivité, etc. Ainsi, les modèles de TAL, en grande partie entraînés sur des données « standards », voient leur performance diminuer lorsqu'ils sont appliqués aux contenus générés par les utilisateurs (CGU). L'une des approches pour atténuer cette dégradation est la normalisation lexicale : les mots non standards sont remplacés par leurs formes standards. Dans cet article, nous réalisons un état de l'art de la normalisation lexicale des CGU, ainsi qu'une étude expérimentale préliminaire pour montrer les avantages et les difficultés de cette tâche.
Fichier principal
Vignette du fichier
461589.pdf (663.48 Ko) Télécharger le fichier
Origin Publisher files allowed on an open archive

Dates and versions

hal-04130239 , version 2 (20-06-2023)

Identifiers

  • HAL Id : hal-04130239 , version 2

Cite

Lydia Nishimwe. Normalisation lexicale de contenus générés par les utilisateurs sur les réseaux sociaux. Actes de CORIA-TALN 2023. Actes des 16e Rencontres Jeunes Chercheurs en RI (RJCRI) et 25e Rencontre des Étudiants Chercheurs en Informatique pour le Traitement Automatique des Langues (RÉCITAL), Jun 2023, Paris, France. pp.160-183. ⟨hal-04130239⟩
273 View
105 Download

Share

More