Uniformiser l’encodage d’un corpus avec Python - Archive ouverte HAL Accéder directement au contenu
Article De Blog Scientifique Tekipaki Année : 2020

Uniformiser l’encodage d’un corpus avec Python

Résumé

Quelques articles de ce carnet ont déjà été consacrés au traitement de données dans le cadre de la constitution d’un corpus, notamment l’étiquetage morphosyntaxique (pour le chinois, avec les étiqueteurs PyNLPIR et Jieba). Toutefois je n’y avais pas abordé la question de l’encodage des caractères. Concernant les corpus écrits, l’encodage est un paramètre important. Il doit : permettre la reconnaissance de tous les caractères présents dans le corpus, être le même dans tous les fichiers composant le corpus, être compatible avec les outils de traitement qui seront utilisés par la suite. Lorsqu’on construit un corpus textuel, les données ne valident pas forcément ces critères au moment de leur collecte, et il est alors indispensable d’uniformiser l’encodage au plus vite. Je vais détailler ici l’écriture d’un script Python permettant de convertir automatiquement en utf-8 un ensemble de fichiers, quel(s) que soi(en)t leur(s) encodage(s) d’origine.
Fichier non déposé

Dates et versions

hal-03035981 , version 1 (02-12-2020)

Identifiants

  • HAL Id : hal-03035981 , version 1

Citer

Alexander Delaporte. Uniformiser l’encodage d’un corpus avec Python. 2020, https://tekipaki.hypotheses.org/478. ⟨hal-03035981⟩
38 Consultations
0 Téléchargements

Partager

Gmail Facebook X LinkedIn More