Model-based covariable decorrelation in linear regression (CorReg). Application to missing data and to steel industry - Archive ouverte HAL Access content directly
Theses Year : 2015

Model-based covariable decorrelation in linear regression (CorReg). Application to missing data and to steel industry

Décorrélation de variables à base de modèles en régression linéaire (CorReg). Application aux données manquantes et à l'industrie sidérurgique.

Abstract

This thesis was motivated by correlation issues in real datasets, in particular industrial datasets. The main idea stands in explicit modeling of the correlations between covariates by a structure of sub-regressions, that simply is a system of linear regressions between the covariates. It points out redundant covariates that can be deleted in a pre-selection step to improve matrix conditioning without significant loss of information and with strong explicative potential because this pre-selection is explained by the structure of sub-regressions, itself easy to interpret. An algorithm to find the sub-regressions structure inherent to the dataset is provided, based on a full generative model and using Monte-Carlo Markov Chain (MCMC) method. This pre-treatment is then applied on linear regression to show its efficiency but does not depend on a response variable and thus can be used in a more general way with any correlated datasets. In a second part, a plug-in estimator is defined to get back the redundant covariates sequentially. Then all the covariates are used but the sequential approach acts as a protection against correlations. Finally, the generative model defined here allows, as a perspective, to manage missing values both during the MCMC and then for imputation (for example multiple imputation). Then we are able to use classical methods that are not compatible with missing datasets. Missing values can be imputed with a confidence interval to show estimation accuracy. Once again, linear regression is used to illustrate the benefits of this method but it remains a pre-treatment that can be used in other contexts, like clustering and so on. The industrial motivation of this work defines interpretation as a stronghold at each step. The R package CorReg, is on cran3 now under CeCILL4 license. It implements the methods created during this thesis. Keywords: Pre-treatment, Regression, Correlations, Missing values, MCMC, generative model, Bayesian Criterion, variable selection, plug-in method,. . .
corrélations au sein des bases de données, particulièrement fréquentes dans le cadre industriel. Une modélisation explicite des corrélations par un système de sous-régressions entre covariables permet de pointer les sources des corrélations et d’isoler certaines variables redondantes. Il en découle une pré-sélection de variables nettement moins corrélées sans perte significative d’information et avec un fort potentiel explicatif (la pré-selection elle-même est expliquée par la structure de sous-régression qui est simple à comprendre car uniquement constituée de modèles linéaires). Un algorithme de recherche de structure de sous-régressions est proposé, basé sur un modèle génératif complet sur les données et utilisant une chaîne MCMC (Monte- Carlo Markov Chain). Ce prétraitement est utilisé pour la régression linéaire comme une présélection des variables explicatives à des fins illustratives mais ne dépend pas de la variable réponse. Il peut donc être utilisé de manière générale pour toute problématique de corrélations. Par la suite, un estimateur plug-in pour la régression linéaire est proposé pour réinjecter l’information résiduelle contenue dans les variables redondantes de manière séquentielle. On utilise ainsi toutes les variables sans souffrir des corrélations entre covariables. Enfin, le modèle génératif complet offre la perspective de pouvoir être utilisé pour gérer d’éventuelles valeurs manquantes dans les données. Cela permet la recherche de structure malgré l’absence de certaines données. Mais un autre débouché est l’imputation multiple des données manquantes, préalable à l’utilisation de méthodes classiques incompatibles avec la présence de valeurs manquantes. De plus, l’imputation multiple des valeurs manquantes permet d’obtenir un estimateur de la variance des valeurs imputées. Encore une fois, la régression linéaire vient illustrer l’apport de la méthode qui reste cependant générique et pourrait être appliquée à d’autres contextes tels que le clustering. Tout au long de ces travaux, l’accent est mis principalement sur l’interprétabilité des résultats en raison du caractère industriel de cette thèse. Le package R intitulé CorReg, disponible sur le cran sous licence CeCILL, implémente les méthodes développées durant cette thèse.
Fichier principal
Vignette du fichier
50376-2015-Thery.pdf (7.72 Mo) Télécharger le fichier
Loading...

Dates and versions

tel-01249789 , version 1 (04-01-2016)

Identifiers

  • HAL Id : tel-01249789 , version 1

Cite

Clément Théry. Model-based covariable decorrelation in linear regression (CorReg). Application to missing data and to steel industry. Methodology [stat.ME]. Université Lille 1, 2015. English. ⟨NNT : ⟩. ⟨tel-01249789⟩
223 View
237 Download

Share

Gmail Mastodon Facebook X LinkedIn More