Compression entropique de phrases contrôlée par un perceptron - Archive ouverte HAL
Communication Dans Un Congrès Année : 2008

Compression entropique de phrases contrôlée par un perceptron

Résumé

Sentence compression is a necessary component to the generation of abstracts. Previous studies focused mainly on the syntactic tree representation of the sentence. Our approach is a statistic approach, which does not use syntactic trees, which can be inaccurate in sentence analysis. At the core of our system is a language model based on lemma bigrams and part-of-speech tags (only a shallow parsing is performed) as well as an entropy computation over sentences to retrieve the best-compressed sentences. We also introduce the perceptron which is used to classify the compressed and non-compressed sentences and to indicate whether or not a sentence should be compressed. Résumé La compression automatique de phrases est un module nécessaire à la génération d'abstracts. Les études précédentes portant sur la compression de phrases sont pour beaucoup basées sur les arbres syntaxiques. Notre système se veut statistique mais n'utilisant pas ces arbres qui peuvent ne pas être suffisamment robustes dans l'analyse des phrases. Nous utilisons principalement un modèle de langage bigramme sur les lemmes et sur les étiquettes morpho-syntaxiques des mots (une simple analyse syntaxique de surface est nécessaire) ainsi qu'un calcul d'entropie pour retrouver la meilleure compression possible d'une phrase. Nous introduisons également un perceptron pour définir si une phrase doit ou non être compressée.
Fichier non déposé

Dates et versions

hal-01321129 , version 1 (25-05-2016)

Identifiants

  • HAL Id : hal-01321129 , version 1

Citer

Thierry Waszak, Juan-Manuel Torres-Moreno. Compression entropique de phrases contrôlée par un perceptron. JADT 2008 : 9es Journées internationales d’Analyse statistique des Données Textuelles, Mar 2008, Lyon, France. ⟨hal-01321129⟩

Collections

UNIV-AVIGNON LIA
52 Consultations
0 Téléchargements

Partager

More