Supervised component-based generalized linear regression for the joint response modeling
Régression linéaire généralisée sur composantes supervisées pour la modélisation jointe des réponses
Résumé
In this thesis, a response matrix is assumed to depend on a set of explanatory variables, and a set of additional covariates. Explanatory variables are supposed many and redundant, thus demanding dimension reduction and regularization. By contrast, additional covariates contain few selected variables which are forced into the regression model, as they demand no regularization. Originally, the Supervised Component-based Generalized Linear Regression (SCGLR), a Partial Least Squares-type method, and its extension to multiple explanatory variable-blocks, THEME-SCGLR, are designed to extract from the explanatory variables several components jointly supervised by the set of responses. However, this methodology still has some limitations we aim to overcome in this thesis. The first limitation comes from the assumption that all the responses are predicted by the same explanatory space. However, in many practical situations, large sets of responses are not likely to depend exactly on the same explanatory dimensions. As a second limitation, the previous works involving SCGLR assume the responses independent conditional on the explanatory variables. Again, this is not very likely in practice, especially in situations like those in ecology, where a non-negligible part of the explanatory variables could not be measured. To overcome the first limitation, we assume that the responses are partitioned into several unknown groups. We suppose that the responses in each group are predictable from an appropriate number of specific orthogonal supervised components of the explanatory variables. We develop an extension of SCGLR based on a finite mixture model of the responses. The second work relaxes the conditional independence assumption. As in THEME-SCGLR, the response matrix is modeled by a thematic partitioning of the explanatory variables, named ``themes''. Thus, regularization is performed searching each theme for an appropriate number of components that both contribute to predict the response matrix and capture relevant structural information in themes. A set of few latent factors models the ``residual'' covariance matrix of the responses conditional on the components. The approaches presented in this work are tested on many simulation schemes, and then applied on ecology datasets.
Dans cette thèse, une matrice réponse est supposée dépendre d'un ensemble de variables explicatives et d'un ensemble de covariables additionnelles. Les variables explicatives sont supposées nombreuses et redondantes, demandant ainsi réduction de dimension et régularisation. Au contraire, les covariables additionnelles contiennent quelques variables sélectionnées qui sont forcées dans le modèle de régression sans subir de régularisation. À l'origine, la Régression Linéaire Généralisée sur Composantes Supervisées (SCGLR) et son extension au multi-tableaux, THEME-SCGLR, sont créés pour extraire dans les variables explicatives plusieurs composantes conjointement supervisées par l'ensemble des réponses. Cependant, cette méthodologie a toujours des limitations que nous proposons de surpasser dans cette thèse. La première limitation vient de l'hypothèse que toutes les réponses sont prédites par le même espace explicatif. Cependant, dans de nombreuses situations pratiques, il est peu probable que de grands ensembles de réponses dépendent exactement des mêmes dimensions explicatives. Comme deuxième limitation, les précédents travaux impliquant SCGLR supposent que les réponses sont indépendantes conditionnellement aux variables explicatives. Encore une fois, cela est peu probable dans la pratique, spécialement dans des situations telles que l'écologie où une part non-négligeable des variables explicatives ne peuvent pas être mesurées. Pour surpasser la première limitation, nous supposons que les réponses sont partitionnées en plusieurs groupes inconnus. Nous supposons que les réponses dans chaque groupe sont prédites par un nombre approprié de composantes supervisées orthogonales spécifiques dans les variables explicatives. Nous développons une extension de SCGLR basée sur un modèle de mélange fini des réponses. Le deuxième travail relâche l'hypothèse d'indépendance conditionnelle. Comme pour THEME-SCGLR, la matrice réponse est modélisée par un partitionnement thématique des variables explicatives, nommés ``thèmes''. Ainsi, la régularisation est effectuée afin de chercher, dans chacun des thèmes, un nombre approprié de composantes qui contribuent à la fois à la prédiction de la matrice réponse et à la capture d'informations pertinentes des thèmes. Un ensemble de quelques facteurs latents modélise la covariance ``résiduelle'' des réponses conditionnellement aux composantes. Les approches présentées dans ce travail sont testées sur de nombreux schémas de simulation et ensuite appliquées à des jeux de données issus de l'écologie.
| Origine | Version validée par le jury (STAR) |
|---|