RFreeStem, a stemmer for Malagasy - Archive ouverte HAL Access content directly
Conference Papers Year : 2021

RFreeStem, a stemmer for Malagasy

RFreeStem un raciniseur pour le Malgache

Abstract

Stemming is a step in text pre-processing that groups together words that are morphologically different but semantically similar, and which therefore, when used in a query in a search engine, should match similar or even identical documents. For many languages, stemmers are rule-based. For languages without tools, the stemming problem remains unsolved. This is the case of Malagasy. This paper analyzes the efficiency of a stemmer, RFreeStem, based on the statistical analysis of texts and without rules. We study the hyperparameters of this stemmer and their influence on the efficiency of the stemming for Malagasy by comparing it to an existing test collection containing manually obtained word roots.
La racinisation est une étape dans le pré-traitement des textes qui regroupe des mots qui sont morphologiquement différents mais sémantiquement similaires, et qui donc, utilisés dans une requête, devraient correspondre à des résultats d'un moteur de recherche similaires voire identiques. Pour de nombreuses langues, les raciniseurs sont à base de règles. Pour des langues non outillées, le problème de racinisation demeure non résolu. C'est le cas du malgache. Cet article analyse l'efficacité d'un raciniseur, RFeeStem, basé sur l'analyse statistique des textes et sans règle. Nous étudions les hyperparamètres de ce raciniseur et leur influence sur l'efficacité du raciniseur pour le malgache en se comparant à une collection de test existante et contenant des racines obtenues manuellement.
Fichier principal
Vignette du fichier
main.pdf (760.98 Ko) Télécharger le fichier
Origin : Files produced by the author(s)

Dates and versions

hal-04447747 , version 1 (09-02-2024)

Identifiers

Cite

Andonirina Andriamihasinoro, Oihana Coustié, Josiane Mothe, Olivier Teste. RFreeStem, a stemmer for Malagasy. COnférence en Recherche d'Informations et Applications (CORIA 2021), ARIA (Association Francophone de Recherche d’Information (RI) et Applications), Apr 2021, Grenoble (virtuel), France. pp.1--10, ⟨10.24348/coria.2021.court_22⟩. ⟨hal-04447747⟩
0 View
0 Download

Altmetric

Share

Gmail Facebook X LinkedIn More