Sélection optimale de modèles à base localisée en régression hétéroscédastique
Résumé
The concept of localized basis is a useful tool in linear approximation theory, as it unifies histograms, piecewise polynomials and wavelets. We thus consider the selection of the order of a linear expansion into a localized basis, for the nonparametric estimation of a regression function, with random design and heteroscedastic noise. We formulate oracle inequalities that prove the asymptotic optimality of the so-called slope heuristics and a $V$-fold penalization procedure. Furthermore, we show that the classical $V$-fold cross-validation procedure is asymptotically suboptimal as it produces an estimate that converges to the oracle corresponding to a fraction of the initial sample equal to (V-1)/V. We conclude the presentation with a simulation study on wavelets. Particularly, we exhibit a gap between the asymptotic theoretic results and the practice at a finite horizon. Indeed, $V$-fold cross-validation and penalization give similar results on our experiments, although the
asymptotic superiority of the penalization scheme is proved.
La notion de base localisée est un concept fécond en théorie de l'approximation linéaire, qui uni…e entre autres les histogrammes, les polynômes par morceaux et les ondelettes à support compact. Nous considérons donc le problème de sélection du nombre de coefficients non nuls dans un développement en base localisée, pour l'estimation non-paramétrique d'une fonction de régression, avec design aléatoire et bruit hetéroscédastique. Nous démontrons alors par l'établissement d'inégalités oracles l'optimalité asymptotique de l'heuristique de pente et d'une stratégie de pénalisation V-fold. Nous montrons aussi que la procédure classique de validation croisée V-fold est asymptotiquement sous-optimale au sens où elle retrouve à l'in…ni l'oracle construit à partir d'une fraction des données initiales égale à (V-1)/V. Nous concluons l'exposé par une étude simulatoire sur des modèles d'ondelettes, où nous notons une différence sensible entre les résultats asymptotiques du cadre théorique et la pratique à distance finie. En effet, la validation croisée V-fold et sa variante par pénalisation donnent dans nos expérimentations des résultats comparables alors que la supériorité asymptotique de la pénalisation est avérée.
Origine | Fichiers produits par l'(les) auteur(s) |
---|
Loading...