Wie wählt man Vorhersagemodelle für die Entscheidungsfindung oder für kausale Schlussfolgerungen aus?
How to select predictive models for decision making or causal inference?
Comment sélectionner des models prédictifs pour la prise de décision ou l'inférence causale ?
Résumé
As predictive models eg from machine learning give likely outcomes, they may be used to support decision making,
choosing whether to treat or not to treat. Such reasoning on the effect of an intervention is a causal-inference task.
A plethora of predictive models are available for health data, from medical images to patient records. But, in a given
situation, which of these models yield the most valid causal estimates? Here we highlight that classic machine-learning
model selection does not select the best models for causal inference. Indeed, causal model selection should control both
outcomes for each individual, treated or not treated, whereas only one outcome is observed. Theoretically, simple risks
used in machine learning do not control causal effects when treated and non-treated population differ too much. More
elaborate risks use nuisance re-weighting to approximate the causal error on the observed data. But does estimating
these nuisance adds noise to model selection? Drawing from an extensive empirical study, we outline an effcient causal
model-selection procedure. To select the best predictive model to guide decisions: use the so-called R-risk, use fexible
estimators to compute the nuisance models on the train set, and split out 10% of the data to compute risks.
Comme les modèles prédictifs issus de l'apprentissage automatique donnent des résultats probables, ils peuvent être utilisés pour faciliter la prise de décision, choisir de traiter ou de ne pas traiter. Un tel raisonnement sur l'effet d'une intervention est une tâche d'inférence causale.
Une pléthore de modèles prédictifs est disponible pour les données de santé, depuis les images médicales jusqu'aux dossiers des patients. Mais, dans une situation donnée, lequel de ces modèles produit les estimations causales les plus valables ? Nous soulignons ici que la sélection classique de modèles d'apprentissage automatique ne sélectionne pas les meilleurs modèles pour l'inférence causale. En effet, la sélection d'un modèle causal devrait contrôler les résultats pour chaque individu, traité ou non traité, alors qu'un seul résultat est observé. Théoriquement, les risques simples
utilisés dans l'apprentissage automatique ne permettent pas de contrôler les effets causaux lorsque la population traitée et non traitée est trop différente. Des risques plus élaborés utilisent la repondération des nuisances pour approximer l'erreur causale sur les données observées. Mais l'estimation de ces nuisances ajoute-t-elle du bruit à la sélection du modèle ?
En s'appuyant sur une étude empirique approfondie, nous décrivons une procédure de sélection de modèle causal efficace. Pour sélectionner le meilleur modèle prédictif afin de guider les décisions, nous préconisons : d'utiliser ce que l'on appelle le risque R, et des formes d'estimateur flexibles pour calculer les modèles de nuisance sur l'ensemble de données, et de séparer 10% des données pour calculer les risques.
| Origine | Fichiers produits par l'(les) auteur(s) |
|---|
