Compression entropique de phrases contrôlée par un perceptron
Résumé
Sentence compression is a necessary component to the generation of abstracts. Previous studies focused mainly on the syntactic tree representation of the sentence. Our approach is a statistic approach, which does not use syntactic trees, which can be inaccurate in sentence analysis. At the core of our system is a language model based on lemma bigrams and part-of-speech tags (only a shallow parsing is performed) as well as an entropy computation over sentences to retrieve the best-compressed sentences. We also introduce the perceptron which is used to classify the compressed and non-compressed sentences and to indicate whether or not a sentence should be compressed. Résumé La compression automatique de phrases est un module nécessaire à la génération d'abstracts. Les études précédentes portant sur la compression de phrases sont pour beaucoup basées sur les arbres syntaxiques. Notre système se veut statistique mais n'utilisant pas ces arbres qui peuvent ne pas être suffisamment robustes dans l'analyse des phrases. Nous utilisons principalement un modèle de langage bigramme sur les lemmes et sur les étiquettes morpho-syntaxiques des mots (une simple analyse syntaxique de surface est nécessaire) ainsi qu'un calcul d'entropie pour retrouver la meilleure compression possible d'une phrase. Nous introduisons également un perceptron pour définir si une phrase doit ou non être compressée.