Communication Dans Un Congrès Année : 2017

Problèmes de tokénisation pour deux langues régionales de France, l’alsacien et le picard

Résumé

La tokénisation est une étape essentielle dans tout système de traitement automatique des langues, d’autant plus que de nombreux outils dépendent du découpage obtenu. La tâche est particulièrement ardue pour les textes qui ne respectent pas les conventions orthotypographiques ou les langues pour lesquelles ces conventions ne sont pas stabilisées. Nous nous intéressons ici aux cas de deux langues régionales de France, l’alsacien et le picard. Nous présentons les défis posés par ces deux langues, et proposons des critères de découpage implémentés dans des tokéniseurs.

Fichier principal
Vignette du fichier
tokenisation.pdf (109.88 Ko) Télécharger le fichier
Origine Fichiers produits par l'(les) auteur(s)
Licence
Loading...
DOI

Cite 10.5281/zenodo.1404896 Ouvrage Bernhard, D. (2018). Tokeniser for the Alsatian Dialects (Version 1.4.1). Zenodo. https://doi.org/10.5281/ZENODO.1404896

DOI

Cite 10.5281/zenodo.1493641 Ouvrage Todirascu Amalia. (2018). Tokeniser for Picard (Version version 1.0). Zenodo. https://doi.org/10.5281/ZENODO.1493641

Dates et versions

hal-01539160 , version 1 (20-06-2018)

Licence

Identifiants

  • HAL Id : hal-01539160 , version 1

Citer

Delphine Bernhard, Amalia Todirascu, Fanny Martin, Pascale Erhart, Lucie Steiblé, et al.. Problèmes de tokénisation pour deux langues régionales de France, l’alsacien et le picard. DiLiTAL 2017, Jun 2017, Orléans, France. pp.14-23. ⟨hal-01539160⟩
376 Consultations
697 Téléchargements

Partager

  • More