Supervised component-based generalized linear regression for the joint response modeling
Régression linéaire généralisée sur composantes supervisées pour la modélisation jointe des réponses
Résumé
In this thesis, a response matrix is assumed to depend on a set of explanatory variables, and a set of
additional covariates. Explanatory variables are supposed many and redundant, thus demanding dimension
reduction and regularization. By contrast, additional covariates contain few selected variables which are
forced into the regression model, as they demand no regularization. Originally, the Supervised Componentbased
Generalized Linear Regression (SCGLR), a Partial Least Squares-type method, and its extension
to multiple explanatory variable-blocks, THEME-SCGLR, are designed to extract from the explanatory
variables several components jointly supervised by the set of responses. However, this methodology still has
some limitations we aim to overcome in this thesis. The first limitation comes from the assumption that all
the responses are predicted by the same explanatory space. However, in many practical situations, large sets
of responses are not likely to depend exactly on the same explanatory dimensions. As a second limitation,
the previous works involving SCGLR assume the responses independent conditional on the explanatory
variables. Again, this is not very likely in practice, especially in situations like those in ecology, where a
non-negligible part of the explanatory variables could not be measured. To overcome the first limitation,
we assume that the responses are partitioned into several unknown groups. We suppose that the responses
in each group are predictable from an appropriate number of specific orthogonal supervised components
of the explanatory variables. We develop an extension of SCGLR based on a finite mixture model of the
responses. The second work relaxes the conditional independence assumption. As in THEME-SCGLR,
the response matrix is modeled by a thematic partitioning of the explanatory variables, named “themes”.
Thus, regularization is performed searching each theme for an appropriate number of components that both
contribute to predict the response matrix and capture relevant structural information in themes. A set of
few latent factors models the “residual” covariance matrix of the responses conditional on the components.
The approaches presented in this work are tested on many simulation schemes, and then applied on ecology
datasets.
Dans cette thèse, une matrice réponse est supposée dépendre d’un ensemble de variables explicatives
et d’un ensemble de covariables additionnelles. Les variables explicatives sont supposées nombreuses
et redondantes, demandant ainsi réduction de dimension et régularisation. Au contraire, les covariables
additionnelles contiennent quelques variables sélectionnées qui sont forcées dans le modèle de
régression sans subir de régularisation. À l’origine, la Régression Linéaire Généralisée sur Composantes
Supervisées (SCGLR) et son extension au multi-tableaux, THEME-SCGLR, sont créés pour extraire dans
les variables explicatives plusieurs composantes conjointement supervisées par l’ensemble des réponses.
Cependant, cette méthodologie a toujours des limitations que nous proposons de surpasser dans cette thèse.
La première limitation vient de l’hypothèse que toutes les réponses sont prédites par le même espace explicatif.
Cependant, dans de nombreuses situations pratiques, il est peu probable que de grands ensembles
de réponses dépendent exactement des mêmes dimensions explicatives. Comme deuxième limitation, les
précédents travaux impliquant SCGLR supposent que les réponses sont indépendantes conditionnellement
aux variables explicatives. Encore une fois, cela est peu probable dans la pratique, spécialement dans des
situations telles que l’écologie où une part non-négligeable des variables explicatives ne peuvent pas être
mesurées. Pour surpasser la première limitation, nous supposons que les réponses sont partitionnées en
plusieurs groupes inconnus. Nous supposons que les réponses dans chaque groupe sont prédites par un nombre
approprié de composantes supervisées orthogonales spécifiques dans les variables explicatives. Nous
développons une extension de SCGLR basée sur un modèle de mélange fini des réponses. Le deuxième travail
relâche l’hypothèse d’indépendance conditionnelle. Comme pour THEME-SCGLR, la matrice réponse
est modélisée par un partitionnement thématique des variables explicatives, nommés “thèmes”. Ainsi, la
régularisation est effectuée afin de chercher, dans chacun des thèmes, un nombre approprié de composantes
qui contribuent à la fois à la prédiction de la matrice réponse et à la capture d’informations pertinentes des
thèmes. Un ensemble de quelques facteurs latents modélise la covariance “résiduelle” des réponses conditionnellement
aux composantes. Les approches présentées dans ce travail sont testées sur de nombreux
schémas de simulation et ensuite appliquées à des jeux de données issus de l’écologie.
| Origine | Fichiers produits par l'(les) auteur(s) |
|---|