Model-based covariable decorrelation in linear regression (CorReg). Application to missing data and to steel industry
Décorrélation de variables à base de modèles en régression linéaire (CorReg). Application aux données manquantes et à l'industrie sidérurgique.
Résumé
This thesis was motivated by correlation issues in real datasets, in particular industrial
datasets. The main idea stands in explicit modeling of the correlations between covariates
by a structure of sub-regressions, that simply is a system of linear regressions between
the covariates. It points out redundant covariates that can be deleted in a pre-selection
step to improve matrix conditioning without significant loss of information and with
strong explicative potential because this pre-selection is explained by the structure of
sub-regressions, itself easy to interpret.
An algorithm to find the sub-regressions structure inherent to the dataset is provided,
based on a full generative model and using Monte-Carlo Markov Chain (MCMC) method.
This pre-treatment is then applied on linear regression to show its efficiency but does not
depend on a response variable and thus can be used in a more general way with any
correlated datasets.
In a second part, a plug-in estimator is defined to get back the redundant covariates
sequentially. Then all the covariates are used but the sequential approach acts as a protection
against correlations.
Finally, the generative model defined here allows, as a perspective, to manage missing
values both during the MCMC and then for imputation (for example multiple imputation).
Then we are able to use classical methods that are not compatible with missing
datasets. Missing values can be imputed with a confidence interval to show estimation
accuracy. Once again, linear regression is used to illustrate the benefits of this method
but it remains a pre-treatment that can be used in other contexts, like clustering and so on.
The industrial motivation of this work defines interpretation as a stronghold at each
step.
The R package CorReg, is on cran3 now under CeCILL4 license. It implements the
methods created during this thesis.
Keywords: Pre-treatment, Regression, Correlations, Missing values, MCMC, generative
model, Bayesian Criterion, variable selection, plug-in method,. . .
corrélations
au sein des bases de données, particulièrement fréquentes dans le cadre industriel.
Une modélisation explicite des corrélations par un système de sous-régressions entre covariables
permet de pointer les sources des corrélations et d’isoler certaines variables
redondantes.
Il en découle une pré-sélection de variables nettement moins corrélées sans perte significative
d’information et avec un fort potentiel explicatif (la pré-selection elle-même est
expliquée par la structure de sous-régression qui est simple à comprendre car uniquement
constituée de modèles linéaires).
Un algorithme de recherche de structure de sous-régressions est proposé, basé sur
un modèle génératif complet sur les données et utilisant une chaîne MCMC (Monte-
Carlo Markov Chain). Ce prétraitement est utilisé pour la régression linéaire comme une
présélection des variables explicatives à des fins illustratives mais ne dépend pas de la
variable réponse. Il peut donc être utilisé de manière générale pour toute problématique
de corrélations.
Par la suite, un estimateur plug-in pour la régression linéaire est proposé pour réinjecter
l’information résiduelle contenue dans les variables redondantes de manière séquentielle.
On utilise ainsi toutes les variables sans souffrir des corrélations entre covariables.
Enfin, le modèle génératif complet offre la perspective de pouvoir être utilisé pour gérer
d’éventuelles valeurs manquantes dans les données. Cela permet la recherche de structure
malgré l’absence de certaines données. Mais un autre débouché est l’imputation multiple
des données manquantes, préalable à l’utilisation de méthodes classiques incompatibles
avec la présence de valeurs manquantes. De plus, l’imputation multiple des valeurs manquantes
permet d’obtenir un estimateur de la variance des valeurs imputées. Encore
une fois, la régression linéaire vient illustrer l’apport de la méthode qui reste cependant
générique et pourrait être appliquée à d’autres contextes tels que le clustering.
Tout au long de ces travaux, l’accent est mis principalement sur l’interprétabilité des
résultats en raison du caractère industriel de cette thèse.
Le package R intitulé CorReg, disponible sur le cran sous licence CeCILL, implémente
les méthodes développées durant cette thèse.
Loading...