Matching descriptors evolving over time: application to insurance comparison
Appariement de descripteurs évoluant dans le temps : application à la comparaison d’assurance
Résumé
In the online insurance comparison field, data constantly evolve, implying some difficulties to
exploit them directly. Indeed, most of the classical learning methods, as supervised classification,
require data descriptors equal to both learning and test samples. To answer business expectations,
online forms where data come from are often changed. These constant modifications of features
and data descriptors make analysis more complex because it has to work with the small amount
of data. The goal of this thesis is to use data generated before the feature descriptors modification.
By doing so, we generate new samples and increase the size of the observed sample after the
descriptors modification. We intend to perform a learning transfer between observed data before
and after features modification. For each observation, only partial data is observed. Indeed,
data are observed either before, or after feature modification which bring a problem of missing
data. Also, the links between data descriptors of the feature before and after the modification
are totally unknown. A probabilistic modelling of the problem has been suggested to modelize
the joint distribution of the feature before and after the modification of the data descriptors. The
problem becomes an estimation problem in a graph where the model is unidentifiable. To ensure
the identifiability of the model, some business and technical constraints have been proposed and
we have to work with a reduced set of very parsimonious models. Two methods of estimation
have been intented. The first one is a method with estimation by profile likelihood and the
second one is a method with join estimation of parameters by maximum likelihood. Working
with missing data, these two methods rely on EM algorithms. The constraints set lead us to
work with a set of models. A model selection step is required. For this step, two sets criteria
are proposed: a usual asymptotic criterium (BIC) and a non-asymptotic criterium (BIL) rely
on Bayesian analysis. The BIL criterium consists in calculating the integrated likelihood of
observed data in closed form where the calculation relies on an approximation non-asymptotic
performed in two-step. First step, the exact integration over the parameters. Second step, an
approximation of the sum over all possible values which may be taken by the observations come
after the feature modification where the information is missing. This approximation is realized
through an importance sampling where the optimal importance function is estimated with
Gibbs sampler. To have an optimal method for both estimation, model selection and execution
time, two research strategies are suggested. The first strategy (EXsearch) is an exhaustive search
whereas the second strategy (AGsearch) is a non-exhaustive strategy based on genetic algorithm,
adapted to the problem and combining both estimation (continuous problem) and selection
(combinatorial problem). A comparison of methods and criteria proposed is performed to detect
the strategy the most adapted in a business framework. This thesis finishes with an application
of the method on real data.
Dans le domaine du web, et plus particulièrement de la comparaison d’assurances, les données
évoluent constamment, impliquant certaines difficultés pour les exploiter. En effet, la plupart
des méthodes d’apprentissage standards, telle que la classification supervisée, nécessitent d’avoir
des descripteurs de données identiques pour les échantillons d’apprentissage et de test. Or,
afin de répondre aux attentes métiers, les formulaires en lignes d’où proviennent les données
sont régulièrement modifiés. Ces modifications régulières des variables et des descripteurs de
données complexifient les analyses car elles nécessitent de travailler avec une faible quantité de
données. L’objectif de cette thèse est alors d’utiliser les données obtenues avant la modification
des descripteurs de la variable pour générer de nouveaux échantillons et ainsi augmenter la taille
des échantillons observés après la modification des descripteurs. Nous proposons donc d’effectuer
un transfert de connaissances entre les données observées avant et après la modification des
variables. Pour chaque individu, seule une donnée partielle est observée. En effet, les données
sont observées soit avant, soit après la modification de la variable, entrainant un problème de
données manquantes et impliquant également que les liens entre les descripteurs de la variable
avant et après la modification soient totalement inconnus. Une modélisation probabiliste du
problème est alors proposée afin de modéliser la loi jointe de la variable avant et après la
modification de ses descripteurs. Le problème revient alors à un problème d’estimation dans
un graphe où le modèle n’est pas identifiable. Afin d’assurer l’identifiabilité du modèle, des
contraintes métiers et techniques sont proposées, ce qui nous amène à travailler avec un ensemble
réduit de modèles très parcimonieux. Deux méthodes d’estimation sont ensuite proposées :
une méthode d’estimation par vraisemblance profilée et une méthode d’estimation jointe des
paramètres par maximum de vraisemblance. Travaillant avec des données manquantes, ces
deux méthodes reposent sur des algorithmes EM. Les contraintes proposées nous amenant à
travailler avec un ensemble de modèles, une étape de sélection de modèle est alors nécessaire.
Pour cette étape, deux critères sont proposés : un critère de sélection asymptotique (le critère
usuel BIC) et un critère non asymptotique (BIL) reposant sur l’analyse bayésienne. Le critère
BIL consiste à calculer la vraisemblance intégrée des données observées de manière exacte,
dont le calcul passe par une approximation non asymptotique effectuée à travers deux étapes :
l’intégration exacte de la distribution des données complètes sur les paramètres, suivie par
une approximation de la somme sur toutes les valeurs possibles pouvant être prises par les
individus venus après la modification de la variable, dont l’information est manquante. Cette
approximation est réalisée par une stratégie bayésienne d’échantillonnage préférentiel dont
la fonction d’importance optimale est estimée à l’aide d’un échantillonneur de Gibbs. Afin
d’avoir une méthode optimale aussi bien en termes d’estimation et de sélection de modèle
qu’en terme de temps de calcul, deux stratégies de recherches sont proposées. La première
stratégie (EXsearch) est une recherche exhaustive alors que la seconde stratégie (AGsearch)
est une recherche non-exhaustive basée sur un algorithme génétique, adaptée au problème et
combinant à la fois l’estimation (problème continu) et la sélection (problème combinatoire). Une
analyse comparative des méthodes et critères proposés est ensuite effectuée afin de détecter la
stratégie la plus adaptée dans un cadre industriel. La thèse se termine par une application de la
méthode sur des données réelles.
Origine | Fichiers produits par l'(les) auteur(s) |
---|