Generating experts by boosting diversity
Résumé
The practical interest of using ensemble methods has been highlighted in
several works. Sequential prediction provides a natural framework for adapting ensemble
methods to time series data. Main developments focus on the rules of aggregation of a
set of experts and examine how to weight and combine the experts. However, very few
work exist regarding how to choose/generate the experts to include in a given aggregation
procedure. We use the concept of diversity to propose some strategies to enrich the set of
original individual predictors. We show how this method is connected to recent theoretical
work on boosting. We propose a simulation study to illustrate the interest of our approach
in the regression setting. An application on real datasets (electricity consumption and
pollution data) shows the potentiality of this method for practical forecasting tasks.
L'intérêt pratique de l'utilisation de méthodes d'ensemble aété souligné dans plusieurs ouvrages. La prévision séquentielle de suites individuelles fournit un cadre naturel pour adapter les méthodes d'ensemble aux séries chronologiques. Les principaux développements dans ce domaine concernent les algorithmes d'agrégation et la miseà jours des poids en ligne. Nous nous concentrons ici sur la question de la génération des expertsà inclure dans une agrégation en ligne. Nous exploitons pour cela le concept de diversité pour proposer des stratégies d'enrichissement d'un ensemble d'experts initiaux. Nous montrons comment cette approche s'incrit dans les travaux théoriques récents sur le boosting. Nous proposons des résultats de simulations montrant la pertinance de cette approche en régression. Des applications sur des données réelles (consommationélectrique et pollution) confirment l'intérêt de cette méthodes pour la prévision de séries temporelles. Mots-clés. agrégation d'experts, boosting, prévision. Abstract. The practical interest of using ensemble methods has been highlighted in several works. Sequential prediction provides a natural framework for adapting ensemble methods to time series data. Main developments focus on the rules of aggregation of a set of experts and examine how to weight and combine the experts. However, very few work exist regarding how to choose/generate the experts to include in a given aggregation procedure. We use the concept of diversity to propose some strategies to enrich the set of original individual predictors. We show how this method is connected to recent theoretical work on boosting. We propose a simulation study to illustrate the interest of our approach in the regression setting. An application on real datasets (electricity consumption and pollution data) shows the potentiality of this method for practical forecasting tasks.
Domaines
Méthodologie [stat.ME]Origine | Fichiers produits par l'(les) auteur(s) |
---|