Segmenter du texte brut avec SegmentAnt - Archive ouverte HAL Accéder directement au contenu
Article De Blog Scientifique Tekipaki Année : 2021

Segmenter du texte brut avec SegmentAnt

Résumé

Segmenter du texte brut avec SegmentAnt Dans des langues telles que le français ou l’anglais (entre autres), les différentes entités linguistiques, ou plus simplement les “mots”, sont plus ou moins intuitivement identifiables à l’écrit car ils tendent à être séparés par un caractère dédié : l’espace. Ce séparateur n’est pas commun à toutes les langues écrites, et n’est notamment pas utilisé en chinois et en japonais. Un lecteur humain sera évidemment capable d’identifier les entités qui composent le texte pour pouvoir le comprendre, mais ce n’est pas forcément le cas des outils de traitement automatique utilisés lors de l’exploration d’un corpus. Il peut alors devenir nécessaire de segmenter le texte d’origine, en y insérant un caractère séparateur. SegmentAnt, développé par Laurence Anthony, est un logiciel qui vous permettra de segmenter du texte en chinois ou en japonais extrêmement facilement, sans écrire une ligne de code.
Fichier non déposé

Dates et versions

hal-03523179 , version 1 (12-01-2022)

Identifiants

  • HAL Id : hal-03523179 , version 1

Citer

Alexander Delaporte. Segmenter du texte brut avec SegmentAnt. 2021, https://tekipaki.hypotheses.org/2009. ⟨hal-03523179⟩
17 Consultations
0 Téléchargements

Partager

Gmail Facebook X LinkedIn More