Comparaison de deux outils d'analyse de corpus japonais pour l'aide au linguiste, Sagace et MeCab - Archive ouverte HAL Accéder directement au contenu
Communication Dans Un Congrès Année : 2014

Comparaison de deux outils d'analyse de corpus japonais pour l'aide au linguiste, Sagace et MeCab

Raoul Blin

Résumé

Our purpose is to compare two tools used to help linguists analyze large corpora of raw Japanese text. We measure their precision while counting strings of morphs. Each tool is representative of a specific approach. The first tool is based on the statistical morphological analyzer MeCab. It first tokenizes and POS tags the whole sentence before searching and counting strings. The second tool, Sagace, searches and counts within the text as it is. In accordance with our assumptions, Sagace performed slightly worse overall but the difference is not as marked as expected. Taking into account the needs of linguists, Sagace is nevertheless useful for many tasks.
L'objectif est de comparer deux outils d'analyse de corpus de textes bruts pour l'aide à la recherche en linguistique japonaise. Nous mesurons leur précision dans la tâche de comptage de chaînes de morphes. Les deux outils représentent chacun une approche spécifique. Le premier, un dispositif basé sur l'analyseur morphologique statistique MeCab, segmente et étiquette préalablement les phrases complètes. Le second compte les occurrences de la chaîne dans le texte en l'état. Les performances de Sagace sont globalement un peu inférieures mais la différence est moins importante qu'attendu. Du fait de leur facilité de mise en œuvre, les outils comme Sagace sans analyse morphologique préalable sont donc des outils malgré tout intéressants pour le linguiste.

Domaines

Linguistique
Fichier principal
Vignette du fichier
TALN2014-BLIN.pdf (106.11 Ko) Télécharger le fichier
Origine : Fichiers produits par l'(les) auteur(s)
Loading...

Dates et versions

hal-01054370 , version 1 (06-08-2014)

Identifiants

  • HAL Id : hal-01054370 , version 1

Citer

Raoul Blin. Comparaison de deux outils d'analyse de corpus japonais pour l'aide au linguiste, Sagace et MeCab. Traitement Automatique des Langues Naturelles, 2014, Marseilles, France. pp.497. ⟨hal-01054370⟩
294 Consultations
359 Téléchargements

Partager

Gmail Facebook X LinkedIn More