Indiscriminabilité dans les espaces de représentation des termes et des documents
Résumé
Examining the properties of representation spaces for documents or words in Information Retrieval (IR) – typically R n with n large– brings precious insights to help the retrieval process. Recently, several authors have studied the real dimensionality of the datasets, called intrinsic dimensionality, in specific parts of these spaces (Houle et al., 2012). They have shown that this dimensionality is chiefly tied with the notion of indiscriminability among neighbors of a query point in the vector space. In this paper, we propose to revisit this notion in the specific case of IR and to study its use in IR tasks. More precisely, we show how to estimate α from IR similarities and to use it in representtion spaces used for documents and words (Mikolov et al., 2013 ; Claveau et al., 2014). Indeed, we prove that α may be used to characterize difficult queries; moreover we show that this indiscriminability notion, applied to words, can help to choose terms to use for query expansion.
L'examen des propriétés des espaces de représentation des documents ou des mots en recherche d'information (RI) – typiquement, R n avec n très grand – fournit de précieuses indications pour aider la recherche. Récemment, plusieurs travaux ont montré qu'il était possible d'étudier la dimensionnalité réelle des données, appelée dimensionnalité intrinsèque, en certains points de ces espaces (Houle et al., 2012). Ils ont montré que cette dimensionnalité était intimement liée à la notion d'indiscriminabilité des voisins d'un point requête dans l'es-pace considéré. Dans cet article, nous proposons de revisiter cette notion d'indiscriminabilité dans le cas particulier de la RI et d'étudier son utilisation pratique en RI. Plus précisément, nous montrons comment son estimation à partir de similarités de type RI, peut être utilisée dans les espaces de représentations des documents et les espaces de représentations de mots (Mikolov et al., 2013 ; Claveau et al., 2014). Ainsi, nous montrons d'une part que l'indice α aide à caractériser les requêtes difficiles ; d'autre part, dans une tâche d'extension de requête, nous montrons comment cette notion d'indiscriminabilité appliquée à des mots permet de choisir au mieux les termes à étendre et leurs extensions.