Sélection efficace de variables par descente par coordonnée avec garanties théoriques - Archive ouverte HAL
Preprints, Working Papers, ... Year : 2020

Sélection efficace de variables par descente par coordonnée avec garanties théoriques

Abstract

Malgré l’avènement de l’apprentissage par représentation, principalement par le biais d’apprentissage profond, la sélection des variables (features) reste un élément clé de nombreux scénarios d’apprentissage automatique. Cet article présente une nouvelle méthode théoriquement motivée pour la sélection des features. Cette approche traite le problème de la sélection des features par le biais de méthodes d’optimisation par coordonnées en tenant compte des dépendances des variables matérialisant ces dernières par blocs. Le faible nombre d’itérations (jusqu’`a la convergence de la méthode) atteste de l’efficacité des méthodes de gradient boosting (par exemple l’algorithme XG-Boost) pour ces problèmes d’apprentissage supervisé. Dans le cas de fonctions convexes et lisses, nous pouvons prouver que le taux de convergence est polynomial en terme de dimension de l’ensemble complet des features. Nous comparons les résultats obtenus avec des méthodes faisant l'état de l’art de la sélection des features : Recursive Features Elimination (RFE) et Binary Coordinate Ascent (BCA), afin de montrer que cette nouvelle méthode est compétitive.
Fichier principal
Vignette du fichier
cap2019.pdf (695.13 Ko) Télécharger le fichier
Origin Files produced by the author(s)
Loading...

Dates and versions

hal-02886506 , version 1 (01-07-2020)

Identifiers

  • HAL Id : hal-02886506 , version 1

Cite

David Saltiel, Eric Benhamou. Sélection efficace de variables par descente par coordonnée avec garanties théoriques. 2020. ⟨hal-02886506⟩
48 View
232 Download

Share

More