How to select predictive models for decision making or causal inference? - Archive ouverte HAL Accéder directement au contenu
Pré-Publication, Document De Travail Année : 2023

Wie wählt man Vorhersagemodelle für die Entscheidungsfindung oder für kausale Schlussfolgerungen aus?

How to select predictive models for decision making or causal inference?

Comment sélectionner des models prédictifs pour la prise de décision ou l'inférence causale ?

Résumé

As predictive models eg from machine learning give likely outcomes, they may be used to support decision making, choosing whether to treat or not to treat. Such reasoning on the effect of an intervention is a causal-inference task. A plethora of predictive models are available for health data, from medical images to patient records. But, in a given situation, which of these models yield the most valid causal estimates? Here we highlight that classic machine-learning model selection does not select the best models for causal inference. Indeed, causal model selection should control both outcomes for each individual, treated or not treated, whereas only one outcome is observed. Theoretically, simple risks used in machine learning do not control causal effects when treated and non-treated population differ too much. More elaborate risks use nuisance re-weighting to approximate the causal error on the observed data. But does estimating these nuisance adds noise to model selection? Drawing from an extensive empirical study, we outline an effcient causal model-selection procedure. To select the best predictive model to guide decisions: use the so-called R-risk, use fexible estimators to compute the nuisance models on the train set, and split out 10% of the data to compute risks.
Comme les modèles prédictifs issus de l'apprentissage automatique donnent des résultats probables, ils peuvent être utilisés pour faciliter la prise de décision, choisir de traiter ou de ne pas traiter. Un tel raisonnement sur l'effet d'une intervention est une tâche d'inférence causale. Une pléthore de modèles prédictifs est disponible pour les données de santé, depuis les images médicales jusqu'aux dossiers des patients. Mais, dans une situation donnée, lequel de ces modèles produit les estimations causales les plus valables ? Nous soulignons ici que la sélection classique de modèles d'apprentissage automatique ne sélectionne pas les meilleurs modèles pour l'inférence causale. En effet, la sélection d'un modèle causal devrait contrôler les résultats pour chaque individu, traité ou non traité, alors qu'un seul résultat est observé. Théoriquement, les risques simples utilisés dans l'apprentissage automatique ne permettent pas de contrôler les effets causaux lorsque la population traitée et non traitée est trop différente. Des risques plus élaborés utilisent la repondération des nuisances pour approximer l'erreur causale sur les données observées. Mais l'estimation de ces nuisances ajoute-t-elle du bruit à la sélection du modèle ? En s'appuyant sur une étude empirique approfondie, nous décrivons une procédure de sélection de modèle causal efficace. Pour sélectionner le meilleur modèle prédictif afin de guider les décisions, nous préconisons : d'utiliser ce que l'on appelle le risque R, et des formes d'estimateur flexibles pour calculer les modèles de nuisance sur l'ensemble de données, et de séparer 10% des données pour calculer les risques.
Fichier principal
Vignette du fichier
how_to_select_causal_models.pdf (11.84 Mo) Télécharger le fichier
Origine : Fichiers produits par l'(les) auteur(s)

Dates et versions

hal-03946902 , version 1 (19-01-2023)
hal-03946902 , version 2 (24-05-2023)
hal-03946902 , version 3 (16-06-2023)
hal-03946902 , version 4 (08-01-2024)

Licence

Licence Ouverte - etalab

Identifiants

Citer

Matthieu Doutreligne, Gaël Varoquaux. How to select predictive models for decision making or causal inference?. 2023. ⟨hal-03946902v3⟩
234 Consultations
259 Téléchargements

Altmetric

Partager

Gmail Facebook X LinkedIn More