Appariement de descripteurs évoluant dans le temps : application à la comparaison d’assurance - Archive ouverte HAL
Thèse Année : 2019

Matching descriptors evolving over time: application to insurance comparison

Appariement de descripteurs évoluant dans le temps : application à la comparaison d’assurance

Résumé

In the online insurance comparison field, data constantly evolve, implying some difficulties to exploit them directly. Indeed, most of the classical learning methods, as supervised classification, require data descriptors equal to both learning and test samples. To answer business expectations, online forms where data come from are often changed. These constant modifications of features and data descriptors make analysis more complex because it has to work with the small amount of data. The goal of this thesis is to use data generated before the feature descriptors modification. By doing so, we generate new samples and increase the size of the observed sample after the descriptors modification. We intend to perform a learning transfer between observed data before and after features modification. For each observation, only partial data is observed. Indeed, data are observed either before, or after feature modification which bring a problem of missing data. Also, the links between data descriptors of the feature before and after the modification are totally unknown. A probabilistic modelling of the problem has been suggested to modelize the joint distribution of the feature before and after the modification of the data descriptors. The problem becomes an estimation problem in a graph where the model is unidentifiable. To ensure the identifiability of the model, some business and technical constraints have been proposed and we have to work with a reduced set of very parsimonious models. Two methods of estimation have been intented. The first one is a method with estimation by profile likelihood and the second one is a method with join estimation of parameters by maximum likelihood. Working with missing data, these two methods rely on EM algorithms. The constraints set lead us to work with a set of models. A model selection step is required. For this step, two sets criteria are proposed: a usual asymptotic criterium (BIC) and a non-asymptotic criterium (BIL) rely on Bayesian analysis. The BIL criterium consists in calculating the integrated likelihood of observed data in closed form where the calculation relies on an approximation non-asymptotic performed in two-step. First step, the exact integration over the parameters. Second step, an approximation of the sum over all possible values which may be taken by the observations come after the feature modification where the information is missing. This approximation is realized through an importance sampling where the optimal importance function is estimated with Gibbs sampler. To have an optimal method for both estimation, model selection and execution time, two research strategies are suggested. The first strategy (EXsearch) is an exhaustive search whereas the second strategy (AGsearch) is a non-exhaustive strategy based on genetic algorithm, adapted to the problem and combining both estimation (continuous problem) and selection (combinatorial problem). A comparison of methods and criteria proposed is performed to detect the strategy the most adapted in a business framework. This thesis finishes with an application of the method on real data.
Dans le domaine du web, et plus particulièrement de la comparaison d’assurances, les données évoluent constamment, impliquant certaines difficultés pour les exploiter. En effet, la plupart des méthodes d’apprentissage standards, telle que la classification supervisée, nécessitent d’avoir des descripteurs de données identiques pour les échantillons d’apprentissage et de test. Or, afin de répondre aux attentes métiers, les formulaires en lignes d’où proviennent les données sont régulièrement modifiés. Ces modifications régulières des variables et des descripteurs de données complexifient les analyses car elles nécessitent de travailler avec une faible quantité de données. L’objectif de cette thèse est alors d’utiliser les données obtenues avant la modification des descripteurs de la variable pour générer de nouveaux échantillons et ainsi augmenter la taille des échantillons observés après la modification des descripteurs. Nous proposons donc d’effectuer un transfert de connaissances entre les données observées avant et après la modification des variables. Pour chaque individu, seule une donnée partielle est observée. En effet, les données sont observées soit avant, soit après la modification de la variable, entrainant un problème de données manquantes et impliquant également que les liens entre les descripteurs de la variable avant et après la modification soient totalement inconnus. Une modélisation probabiliste du problème est alors proposée afin de modéliser la loi jointe de la variable avant et après la modification de ses descripteurs. Le problème revient alors à un problème d’estimation dans un graphe où le modèle n’est pas identifiable. Afin d’assurer l’identifiabilité du modèle, des contraintes métiers et techniques sont proposées, ce qui nous amène à travailler avec un ensemble réduit de modèles très parcimonieux. Deux méthodes d’estimation sont ensuite proposées : une méthode d’estimation par vraisemblance profilée et une méthode d’estimation jointe des paramètres par maximum de vraisemblance. Travaillant avec des données manquantes, ces deux méthodes reposent sur des algorithmes EM. Les contraintes proposées nous amenant à travailler avec un ensemble de modèles, une étape de sélection de modèle est alors nécessaire. Pour cette étape, deux critères sont proposés : un critère de sélection asymptotique (le critère usuel BIC) et un critère non asymptotique (BIL) reposant sur l’analyse bayésienne. Le critère BIL consiste à calculer la vraisemblance intégrée des données observées de manière exacte, dont le calcul passe par une approximation non asymptotique effectuée à travers deux étapes : l’intégration exacte de la distribution des données complètes sur les paramètres, suivie par une approximation de la somme sur toutes les valeurs possibles pouvant être prises par les individus venus après la modification de la variable, dont l’information est manquante. Cette approximation est réalisée par une stratégie bayésienne d’échantillonnage préférentiel dont la fonction d’importance optimale est estimée à l’aide d’un échantillonneur de Gibbs. Afin d’avoir une méthode optimale aussi bien en termes d’estimation et de sélection de modèle qu’en terme de temps de calcul, deux stratégies de recherches sont proposées. La première stratégie (EXsearch) est une recherche exhaustive alors que la seconde stratégie (AGsearch) est une recherche non-exhaustive basée sur un algorithme génétique, adaptée au problème et combinant à la fois l’estimation (problème continu) et la sélection (problème combinatoire). Une analyse comparative des méthodes et critères proposés est ensuite effectuée afin de détecter la stratégie la plus adaptée dans un cadre industriel. La thèse se termine par une application de la méthode sur des données réelles.
Fichier principal
Vignette du fichier
50376-2019-Bedenel.pdf (2.62 Mo) Télécharger le fichier
Origine Fichiers produits par l'(les) auteur(s)

Dates et versions

tel-02399068 , version 1 (10-12-2019)

Identifiants

  • HAL Id : tel-02399068 , version 1

Citer

Anne-Lise Bedenel. Appariement de descripteurs évoluant dans le temps : application à la comparaison d’assurance. Méthodologie [stat.ME]. Université de Lille I, 2019. Français. ⟨NNT : ⟩. ⟨tel-02399068⟩
118 Consultations
132 Téléchargements

Partager

More