Near-optimal rate of consistency for linear models with missing values - Archive ouverte HAL Accéder directement au contenu
Communication Dans Un Congrès Année : 2022

Near-optimal rate of consistency for linear models with missing values

Résumé

Missing values arise in most real-world data sets due to the aggregation of multiple sources and intrinsically missing information (sensor failure, unanswered questions in surveys...). In fact, the very nature of missing values usually prevents us from running standard learning algorithms. In this paper, we focus on the extensively-studied linear models, but in presence of missing values, which turns out to be quite a challenging task. Indeed, the Bayes rule can be decomposed as a sum of predictors corresponding to each missing pattern. This eventually requires to solve a number of learning tasks, exponential in the number of input features, which makes predictions impossible for current real-world datasets. First, we propose a rigorous setting to analyze a least-square type estimator and establish a bound on the excess risk which increases exponentially in the dimension. Consequently, we leverage the missing data distribution to propose a new algorithm, and derive associated adaptive risk bounds that turn out to be minimax optimal. Numerical experiments highlight the benefits of our method compared to state-of-the-art algorithms used for predictions with missing values.
Fichier principal
Vignette du fichier
main.pdf (564.36 Ko) Télécharger le fichier
GMM.pdf (13.84 Ko) Télécharger le fichier
GMM_T.pdf (14 Ko) Télécharger le fichier
HD-3.pdf (16.38 Ko) Télécharger le fichier
MAR.pdf (13.93 Ko) Télécharger le fichier
MAR_T.pdf (14.01 Ko) Télécharger le fichier
MCAR.pdf (17.32 Ko) Télécharger le fichier
MCAR_T.pdf (17.19 Ko) Télécharger le fichier
RealData2.pdf (16.16 Ko) Télécharger le fichier
exdata.png (42.41 Ko) Télécharger le fichier
experimentation.pdf (28.17 Ko) Télécharger le fichier
frontpage_bg.jpg (459.74 Ko) Télécharger le fichier
illustrationDiffE.pdf (13.53 Ko) Télécharger le fichier
illustrationDiffRegime.pdf (20.71 Ko) Télécharger le fichier
illustrationLemme.pdf (15.83 Ko) Télécharger le fichier
illustrationPara.pdf (14.06 Ko) Télécharger le fichier
illustrationParaBertrand.pdf (14.06 Ko) Télécharger le fichier
illustrationParaRenyi.pdf (14.85 Ko) Télécharger le fichier
there-are-two-types-of-people-those-who-can-extrapolate-from-incomplete-data.jpg (128.97 Ko) Télécharger le fichier
Origine : Fichiers produits par l'(les) auteur(s)
Origine : Fichiers produits par l'(les) auteur(s)

Dates et versions

hal-03552109 , version 1 (02-02-2022)
hal-03552109 , version 2 (06-12-2022)

Identifiants

Citer

Alexis Ayme, Claire Boyer, Aymeric Dieuleveut, Erwan Scornet. Near-optimal rate of consistency for linear models with missing values. International Conference on Machine Learning,, Jul 2022, Baltimore MD, United States. ⟨hal-03552109v2⟩
172 Consultations
98 Téléchargements

Altmetric

Partager

Gmail Facebook X LinkedIn More