Contribution à la modélisation du langage pour des applications de recherche documentaire et de traitement de la parole - Archive ouverte HAL Accéder directement au contenu
Thèse Année : 2000

Language modeling for Information retrieval and Speech processing applications

Contribution à la modélisation du langage pour des applications de recherche documentaire et de traitement de la parole

Brigitte Bigi

Résumé

The application of statistical methods to the fields of document retrieval and automatic speech recognition (ASR) is becoming increasingly important. This thesis presents solutions that use dynamic language models, following information theory. Our contribution concerns new approaches in language modeling. The applications developed are plural: thematic classification of written texts or discourse, thematic segmentation, and request expansion. In thematic classification, the objective is to assign a thematic label to a text segment among a set of possible labels. The model, in this case, is based on the comparison between the statistical distribution of the words contained in the cache memory of a text at a given moment and the static distributions of the keywords of the themes. This evaluation evolves over time with the inclusion of new words in the cache. By combining the decisions made by this model and a set of classical thematic unigrams, the theme of a text is determined with a degree of reliability greater than 80%. Applied to dictated texts, this cache-based model allows us to quickly recognize themes, which suggests the use, in ASR systems, of a language model more appropriate to the field of dictated text. We then show that the use of a linear combination of a general bigram model with thematic models brings a substantial gain of perplexity compared to the unique use of a general and static bigram. In thematic segmentation of written texts, we seek to determine the boundaries between paragraphs of different themes. One possibility to spot changes in themes is to use the cache-based model already developed for thematic classification. Other new methods were also tested. In particular, solutions were sought so that segmentation does not require prior knowledge of themes, unlike the cache-based model. To do this, we give new representations of the history of a word. The results obtained are of lower quality compared to the thematic model, however, all the results thus obtained show that different strategies must be used according to the recall and precision values desired. This type of approach has also been applied to documentary research. The expanding purpose of the query is to add new terms relevant to a user’s query in order to make the answers provided by the document retrieval system more accurate. Our model evaluates the distance between the probability distribution of the terms representative of the documents provided by the system with the initial request and the distribution of these terms throughout the collection. These evaluations give a score to candidate terms that will form the extended query. This model improves the results uniformly compared to those obtained with the initial query, but also compared to other evaluation functions, from the literature, for the scheduling of terms.
L'application des méthodes statistiques aux domaines de la recherche documentaire et de la reconnaissance automatique de la parole (RAP) prend une importance grandissante. Ce travail de thèse présente des solutions qui utilisent des modèles de langage dynamiques, suivant la théorie de l'information. Notre contribution est l'apport de nouvelles approches en modélisation du langage. Les applications développées sont plurielles : classification thématique de textes écrits ou du discours, segmentation thématique, et expansion de requête. En classification thématique, l'objectif est d'assigner un label thématique à un segment de texte parmi un ensemble de labels possibles. Le modèle, dans ce cas, repose sur la comparaison entre la distribution statistique des mots contenus dans la mémoire cache d'un texte à un instant donné et les distributions statiques des mots clés des thématiques. Cette évaluation évolue dans le temps avec la prise en compte de nouveaux mots dans le cache. En combinant les décisions prises par ce modèle et par un ensemble d'unigrammes thématiques classiques, on détermine le thème d'un texte avec un degré de fiabilité supérieur à 80 %. Appliqué à des textes dictés, le modèle à base de mémoire cache nous permet une reconnaissance rapide des thèmes, ce qui laisse envisager l'utilisation, dans les systèmes de RAP, d'un modèle de langage plus approprié au domaine du texte dicté. Nous montrons alors que l'utilisation d'une combinaison linéaire d'un modèle bigramme général avec des modèles thématiques apporte un gain substantiel de perplexité par rapport à l'utilisation unique d'un bigramme général et statique. En segmentation thématique de textes écrits, on cherche à déterminer les frontières entre paragraphes de thèmes différents. Une possibilité pour repérer les changements de thèmes est d'utiliser le modèle à base de mémoire cache déjà développé pour la classification thématique. D'autres nouvelles méthodes ont également été testées. On a notamment cherché des solutions afin que la segmentation ne nécessite pas de connaissances préalables sur les thèmes, contrairement au modèle à base de mémoire cache. Pour ce faire, on donne de nouvelles représentations de l'histoire d'un mot. Les résultats obtenus sont de moindre qualité par rapport au modèle thématique, cependant l'ensemble des résultats ainsi obtenus montrent que différentes stratégies doivent être utilisées selon les valeurs de rappel et de précision que l'on souhaite. Ce type d'approche a également été appliqué à la recherche documentaire. Le but en expansion de requête est d'ajouter de nouveaux termes pertinents à la requête d'un utilisateur afin de rendre les réponses, fournies par le système de recherche documentaire, plus précises. Notre modèle évalue la distance entre la distribution de probabilités des termes représentatifs des documents fournis par le système avec la requête initiale et la distribution de ces mêmes termes dans la collection entière.Ces évaluations permettent de donner un score à des termes candidats qui formeront la requête étendue. Ce modèle améliore uniformément les résultats par rapport à ceux obtenus avec la requête initiale, mais aussi par rapport à d'autres fonctions d'évaluation, issues de la littérature, pour l'ordonnancement des termes.
Fichier principal
Vignette du fichier
TheseBB.pdf (1.77 Mo) Télécharger le fichier
Origine : Fichiers produits par l'(les) auteur(s)

Dates et versions

tel-01705169 , version 1 (17-12-2023)

Identifiants

  • HAL Id : tel-01705169 , version 1

Citer

Brigitte Bigi. Contribution à la modélisation du langage pour des applications de recherche documentaire et de traitement de la parole. Recherche d'information [cs.IR]. Université d'Avignon et des Pays de Vaucluse, 2000. Français. ⟨NNT : ⟩. ⟨tel-01705169⟩

Collections

UNIV-AVIGNON LIA
5 Consultations
4 Téléchargements

Partager

Gmail Facebook X LinkedIn More