Comparaison de méthodes de prétraitement pour l’alignement de mots dans des corpus parallèles alsacien-français
Résumé
L’analyse des corpus de textes dans les dialectes alsaciens est rendue difficile par la grande variation qui se rencontre à l’écrit, en l’absence d’une norme orthographique stable. Dans cet article, nous décrivons des expériences visant à améliorer la qualité de l’alignement automatique des mots français et alsaciens en prétraitant les textes. Ces prétraitements visent à réduire la variation en utilisant diverses stratégies en fonction de la langue : lemmatisation, désuffixation, clés métaphone, normalisation et réduction des tokens à leur préfixe.
Domaines
Informatique et langage [cs.CL]Origine | Fichiers éditeurs autorisés sur une archive ouverte |
---|