Utiliser TinySegmenter avec Python - Archive ouverte HAL Accéder directement au contenu
Article De Blog Scientifique Tekipaki Année : 2022

Utiliser TinySegmenter avec Python

Résumé

Lors du traitement d’un corpus en japonais, l’étape de segmentation est souvent indispensable. Il est possible de l’effectuer sans écrire de script pour l’occasion, par exemple avec un logiciel tels que SegmentAnt, déjà présenté sur ce carnet dans l’article Segmenter du texte brut avec SegmentAnt. Peut aussi se présenter le cas où la segmentation intervient parmi d’autres traitements qui seront pris en charge par un ou plusieurs script(s). Il est alors intéressant de prévoir quelques lignes de code pour segmenter le texte plutôt que de faire appel à un outil supplémentaire. Voici comment faire, en utilisant TinySegmenter avec Python.
Fichier non déposé

Dates et versions

hal-03523195 , version 1 (12-01-2022)

Identifiants

  • HAL Id : hal-03523195 , version 1

Citer

Alexander Delaporte. Utiliser TinySegmenter avec Python. 2022, https://tekipaki.hypotheses.org/2015. ⟨hal-03523195⟩
42 Consultations
0 Téléchargements

Partager

Gmail Facebook X LinkedIn More