Predictive performance of multi-model ensemble forecasts of COVID-19 across European nations - Archive ouverte HAL
Article Dans Une Revue eLife Année : 2023

Predictive performance of multi-model ensemble forecasts of COVID-19 across European nations

Katharine Sherratt , Hugo Gruson (1) , Rok Grah , Helen Johnson , Rene Niehus , Bastian Prasse , Frank Sandmann , Jannik Deuschel , Daniel Wolffram , Sam Abbott , Alexander Ullrich , Graham Gibson , Evan Ray , Nicholas Reich , Daniel Sheldon , Yijin Wang , Nutcha Wattanachit , Lijing Wang , Jan Trnka , Guillaume Obozinski , Tao Sun , Dorina Thanou , Loic Pottier , Ekaterina Krymova , Jan Meinke , Maria Vittoria Barbarossa , Neele Leithauser , Jan Mohring , Johanna Schneider , Jaroslaw Wlazlo , Jan Fuhrmann , Berit Lange , Isti Rodiah , Prasith Baccam , Heidi Gurung , Steven Stage , Bradley Suchoski , Jozef Budzinski , Robert Walraven , Inmaculada Villanueva , Vit Tucek , Martin Smid , Milan Zajicek , Cesar Perez Alvarez , Borja Reina , Nikos Bosse , Sophie Meakin , Lauren Castro , Geoffrey Fairchild , Isaac Michaud , Dave Osthus , Pierfrancesco Alaimo Di Loro , Antonello Maruotti , Veronika Eclerova , Andrea Kraus , David Kraus , Lenka Pribylova , Bertsimas Dimitris , Michael Lingzhi Li , Soni Saksham , Jonas Dehning , Sebastian Mohr , Viola Priesemann , Grzegorz Redlarski , Benjamin Bejar , Giovanni Ardenghi , Nicola Parolini , Giovanni Ziarelli , Wolfgang Bock , Stefan Heyder , Thomas Hotz , David Singh , Miguel Guzman-Merino , Jose Aznarte , David Morina , Sergio Alonso , Enric Alvarez , Daniel Lopez , Clara Prats , Jan Pablo Burgard , Arne Rodloff , Tom Zimmermann , Alexander Kuhlmann , Janez Zibert , Fulvia Pennoni , Fabio Divino , Marti Catala , Gianfranco Lovison , Paolo Giudici , Barbara Tarantino , Francesco Bartolucci , Giovanna Jona Lasinio , Marco Mingione , Alessio Farcomeni , Ajitesh Srivastava , Pablo Montero-Manso , Aniruddha Adiga , Benjamin Hurt , Bryan Lewis , Madhav Marathe , Przemyslaw Porebski , Srinivasan Venkatramanan , Rafal Bartczuk , Filip Dreger , Anna Gambin , Krzysztof Gogolewski , Magdalena Gruziel-Slomka , Bartosz Krupa , Antoni Moszyński , Karol Niedzielewski , Jedrzej Nowosielski , Maciej Radwan , Franciszek Rakowski , Marcin Semeniuk , Ewa Szczurek , Jakub Zielinski , Jan Kisielewski , Barbara Pabjan , Kirsten Holger , Yuri Kheifetz , Markus Scholz , Biecek Przemyslaw , Marcin Bodych , Maciej Filinski , Radoslaw Idzikowski , Tyll Krueger , Tomasz Ozanski , Johannes Bracher , Sebastian Funk
Katharine Sherratt
Hugo Gruson
Centre for Mathematical Modelling of Infectious Diseases
CV
Rok Grah
  • Fonction : Auteur
Helen Johnson
  • Fonction : Auteur
Rene Niehus
  • Fonction : Auteur
Bastian Prasse
  • Fonction : Auteur
Frank Sandmann
  • Fonction : Auteur
Jannik Deuschel
  • Fonction : Auteur
Daniel Wolffram
Sam Abbott
  • Fonction : Auteur
Alexander Ullrich
  • Fonction : Auteur
Graham Gibson
  • Fonction : Auteur
Evan Ray
  • Fonction : Auteur
Nicholas Reich
  • Fonction : Auteur
Daniel Sheldon
  • Fonction : Auteur
Yijin Wang
Nutcha Wattanachit
  • Fonction : Auteur
Lijing Wang
  • Fonction : Auteur
Jan Trnka
Guillaume Obozinski
  • Fonction : Auteur
Tao Sun
Dorina Thanou
  • Fonction : Auteur
Loic Pottier
  • Fonction : Auteur
Ekaterina Krymova
  • Fonction : Auteur
Jan Meinke
  • Fonction : Auteur
Maria Vittoria Barbarossa
  • Fonction : Auteur
Neele Leithauser
  • Fonction : Auteur
Jan Mohring
  • Fonction : Auteur
Johanna Schneider
Jaroslaw Wlazlo
  • Fonction : Auteur
Jan Fuhrmann
Berit Lange
  • Fonction : Auteur
Isti Rodiah
  • Fonction : Auteur
Prasith Baccam
  • Fonction : Auteur
Heidi Gurung
  • Fonction : Auteur
Steven Stage
  • Fonction : Auteur
Bradley Suchoski
  • Fonction : Auteur
Jozef Budzinski
  • Fonction : Auteur
Robert Walraven
  • Fonction : Auteur
Inmaculada Villanueva
Vit Tucek
  • Fonction : Auteur
Martin Smid
  • Fonction : Auteur
Milan Zajicek
Cesar Perez Alvarez
  • Fonction : Auteur
Borja Reina
  • Fonction : Auteur
Nikos Bosse
  • Fonction : Auteur
Sophie Meakin
  • Fonction : Auteur
Lauren Castro
  • Fonction : Auteur
Geoffrey Fairchild
  • Fonction : Auteur
Isaac Michaud
  • Fonction : Auteur
Dave Osthus
  • Fonction : Auteur
Pierfrancesco Alaimo Di Loro
  • Fonction : Auteur
Antonello Maruotti
Veronika Eclerova
Andrea Kraus
  • Fonction : Auteur
David Kraus
  • Fonction : Auteur
Lenka Pribylova
  • Fonction : Auteur
Bertsimas Dimitris
  • Fonction : Auteur
Michael Lingzhi Li
  • Fonction : Auteur
Soni Saksham
  • Fonction : Auteur
Jonas Dehning
  • Fonction : Auteur
Sebastian Mohr
  • Fonction : Auteur
Viola Priesemann
Grzegorz Redlarski
  • Fonction : Auteur
Benjamin Bejar
  • Fonction : Auteur
Giovanni Ardenghi
  • Fonction : Auteur
Nicola Parolini
  • Fonction : Auteur
Giovanni Ziarelli
  • Fonction : Auteur
Wolfgang Bock
  • Fonction : Auteur
Stefan Heyder
Thomas Hotz
  • Fonction : Auteur
David Singh
  • Fonction : Auteur
Miguel Guzman-Merino
  • Fonction : Auteur
Jose Aznarte
  • Fonction : Auteur
David Morina
  • Fonction : Auteur
Sergio Alonso
Enric Alvarez
  • Fonction : Auteur
Daniel Lopez
  • Fonction : Auteur
Clara Prats
Jan Pablo Burgard
Arne Rodloff
  • Fonction : Auteur
Tom Zimmermann
  • Fonction : Auteur
Alexander Kuhlmann
  • Fonction : Auteur
Janez Zibert
  • Fonction : Auteur
Fulvia Pennoni
  • Fonction : Auteur
Fabio Divino
  • Fonction : Auteur
Marti Catala
  • Fonction : Auteur
Gianfranco Lovison
  • Fonction : Auteur
Paolo Giudici
  • Fonction : Auteur
Barbara Tarantino
  • Fonction : Auteur
Francesco Bartolucci
  • Fonction : Auteur
Giovanna Jona Lasinio
  • Fonction : Auteur
Marco Mingione
  • Fonction : Auteur
Alessio Farcomeni
Ajitesh Srivastava
  • Fonction : Auteur
Pablo Montero-Manso
  • Fonction : Auteur
Aniruddha Adiga
  • Fonction : Auteur
Benjamin Hurt
  • Fonction : Auteur
Bryan Lewis
Madhav Marathe
  • Fonction : Auteur
Przemyslaw Porebski
Srinivasan Venkatramanan
  • Fonction : Auteur
Rafal Bartczuk
Filip Dreger
  • Fonction : Auteur
Anna Gambin
  • Fonction : Auteur
Krzysztof Gogolewski
Magdalena Gruziel-Slomka
  • Fonction : Auteur
Bartosz Krupa
  • Fonction : Auteur
Antoni Moszyński
  • Fonction : Auteur
Karol Niedzielewski
  • Fonction : Auteur
Jedrzej Nowosielski
  • Fonction : Auteur
Maciej Radwan
  • Fonction : Auteur
Franciszek Rakowski
  • Fonction : Auteur
Marcin Semeniuk
  • Fonction : Auteur
Ewa Szczurek
  • Fonction : Auteur
Jakub Zielinski
Jan Kisielewski
  • Fonction : Auteur
Barbara Pabjan
  • Fonction : Auteur
Kirsten Holger
  • Fonction : Auteur
Yuri Kheifetz
  • Fonction : Auteur
Markus Scholz
  • Fonction : Auteur
Biecek Przemyslaw
  • Fonction : Auteur
Marcin Bodych
  • Fonction : Auteur
Maciej Filinski
  • Fonction : Auteur
Radoslaw Idzikowski
  • Fonction : Auteur
Tyll Krueger
  • Fonction : Auteur
Tomasz Ozanski
  • Fonction : Auteur
Johannes Bracher
  • Fonction : Auteur
Sebastian Funk

Résumé

Background: Short-term forecasts of infectious disease burden can contribute to situational awareness and aid capacity planning. Based on best practice in other fields and recent insights in infectious disease epidemiology, one can maximise the predictive performance of such forecasts if multiple models are combined into an ensemble. Here, we report on the performance of ensembles in predicting COVID-19 cases and deaths across Europe between 08 March 2021 and 07 March 2022. Methods: We used open-source tools to develop a public European COVID-19 Forecast Hub. We invited groups globally to contribute weekly forecasts for COVID-19 cases and deaths reported by a standardised source for 32 countries over the next 1–4 weeks. Teams submitted forecasts from March 2021 using standardised quantiles of the predictive distribution. Each week we created an ensemble forecast, where each predictive quantile was calculated as the equally-weighted average (initially the mean and then from 26th July the median) of all individual models’ predictive quantiles. We measured the performance of each model using the relative Weighted Interval Score (WIS), comparing models’ forecast accuracy relative to all other models. We retrospectively explored alternative methods for ensemble forecasts, including weighted averages based on models’ past predictive performance. Results: Over 52 weeks, we collected forecasts from 48 unique models. We evaluated 29 models’ forecast scores in comparison to the ensemble model. We found a weekly ensemble had a consistently strong performance across countries over time. Across all horizons and locations, the ensemble performed better on relative WIS than 83% of participating models’ forecasts of incident cases (with a total N=886 predictions from 23 unique models), and 91% of participating models’ forecasts of deaths (N=763 predictions from 20 models). Across a 1–4 week time horizon, ensemble performance declined with longer forecast periods when forecasting cases, but remained stable over 4 weeks for incident death forecasts. In every forecast across 32 countries, the ensemble outperformed most contributing models when forecasting either cases or deaths, frequently outperforming all of its individual component models. Among several choices of ensemble methods we found that the most influential and best choice was to use a median average of models instead of using the mean, regardless of methods of weighting component forecast models. Conclusions: Our results support the use of combining forecasts from individual models into an ensemble in order to improve predictive performance across epidemiological targets and populations during infectious disease epidemics. Our findings further suggest that median ensemble methods yield better predictive performance more than ones based on means. Our findings also highlight that forecast consumers should place more weight on incident death forecasts than incident case forecasts at forecast horizons greater than 2 weeks. Funding: AA, BH, BL, LWa, MMa, PP, SV funded by National Institutes of Health (NIH) Grant 1R01GM109718, NSF BIG DATA Grant IIS-1633028, NSF Grant No.: OAC-1916805, NSF Expeditions in Computing Grant CCF-1918656, CCF-1917819, NSF RAPID CNS-2028004, NSF RAPID OAC-2027541, US Centers for Disease Control and Prevention 75D30119C05935, a grant from Google, University of Virginia Strategic Investment Fund award number SIF160, Defense Threat Reduction Agency (DTRA) under Contract No. HDTRA1-19-D-0007, and respectively Virginia Dept of Health Grant VDH-21-501-0141, VDH-21-501-0143, VDH-21-501-0147, VDH-21-501-0145, VDH-21-501-0146, VDH-21-501-0142, VDH-21-501-0148. AF, AMa, GL funded by SMIGE - Modelli statistici inferenziali per governare l'epidemia, FISR 2020-Covid-19 I Fase, FISR2020IP-00156, Codice Progetto: PRJ-0695. AM, BK, FD, FR, JK, JN, JZ, KN, MG, MR, MS, RB funded by Ministry of Science and Higher Education of Poland with grant 28/WFSN/2021 to the University of Warsaw. BRe, CPe, JLAz funded by Ministerio de Sanidad/ISCIII. BT, PG funded by PERISCOPE European H2020 project, contract number 101016233. CP, DL, EA, MC, SA funded by European Commission - Directorate-General for Communications Networks, Content and Technology through the contract LC-01485746, and Ministerio de Ciencia, Innovacion y Universidades and FEDER, with the project PGC2018-095456-B-I00. DE., MGu funded by Spanish Ministry of Health / REACT-UE (FEDER). DO, GF, IMi, LC funded by Laboratory Directed Research and Development program of Los Alamos National Laboratory (LANL) under project number 20200700ER. DS, ELR, GG, NGR, NW, YW funded by National Institutes of General Medical Sciences (R35GM119582; the content is solely the responsibility of the authors and does not necessarily represent the official views of NIGMS or the National Institutes of Health). FB, FP funded by InPresa, Lombardy Region, Italy. HG, KS funded by European Centre for Disease Prevention and Control. IV funded by Agencia de Qualitat i Avaluacio Sanitaries de Catalunya (AQuAS) through contract 2021-021OE. JDe, SMo, VP funded by Netzwerk Universitatsmedizin (NUM) project egePan (01KX2021). JPB, SH, TH funded by Federal Ministry of Education and Research (BMBF; grant 05M18SIA). KH, MSc, YKh funded by Project SaxoCOV, funded by the German Free State of Saxony. Presentation of data, model results and simulations also funded by the NFDI4Health Task Force COVID-19 ( https://www.nfdi4health.de/task-force-covid-19-2 ) within the framework of a DFG-project (LO-342/17-1). LP, VE funded by Mathematical and Statistical modelling project (MUNI/A/1615/2020), Online platform for real-time monitoring, analysis and management of epidemic situations (MUNI/11/02202001/2020); VE also supported by RECETOX research infrastructure (Ministry of Education, Youth and Sports of the Czech Republic: LM2018121), the CETOCOEN EXCELLENCE (CZ.02.1.01/0.0/0.0/17-043/0009632), RECETOX RI project (CZ.02.1.01/0.0/0.0/16-013/0001761). NIB funded by Health Protection Research Unit (grant code NIHR200908). SAb, SF funded by Wellcome Trust (210758/Z/18/Z).

Domaines

Statistiques [stat] Sciences du Vivant [q-bio]

Hugo Gruson  : Connectez-vous pour contacter le contributeur

https://hal.science/hal-04224083

Soumis le : dimanche 1 octobre 2023-11:22:28

Dernière modification le : lundi 3 juin 2024-16:24:28

Consulter le texte intégral

Dates et versions

hal-04224083 , version 1 (01-10-2023)

Identifiants

Citer

Katharine Sherratt, Hugo Gruson, Rok Grah, Helen Johnson, Rene Niehus, et al.. Predictive performance of multi-model ensemble forecasts of COVID-19 across European nations. eLife, 2023, 12, ⟨10.7554/elife.81916⟩. ⟨hal-04224083⟩

Exporter

BibTeX XML-TEI Dublin Core DC Terms EndNote DataCite
40 Consultations
0 Téléchargements

Altmetric

Partager

More