Building monolingual annotated comparable corpora
Construire un corpus monolingue annoté comparable
Abstract
This work is motivated by the will of creating a new part-of-speech annotated corpus in French from an existing one. We propose a general and operational definition of the comparability relation between annotated monolingual corpora. We also propose a comparability measure and a procedure to build semi-automatically a comparable corpus from a source one. We study the use of the perplexity (information theory motivated measure) as a way to rank the sen-tences to select for building a comparable corpus. We show that the measure can play a role but that it is not sufficient.
Motivé par la problématique de construction automatique d'un corpus annoté morpho-syntaxiquement distinct d'un corpus source, nous proposons une définition générale et opérationnelle de la relation de la comparabilité entre des corpus monolingues annotés. Nous proposons une mesure de la relation de comparabilité et une procédure de construction d'un corpus comparable annoté à partir d'un corpus annoté existant. Nous montrons que la mesure de la perplexité (théorie de l'information) est un moyen de sélectionner des phrases nouvelles pour construire un corpus com-parable annoté grammaticalement.
Origin : Files produced by the author(s)
Loading...