Sélection efficace de variables par montée par coordonnée avec garanties théoriques - Archive ouverte HAL Accéder directement au contenu
Rapport (Rapport De Recherche) Année : 2019

Sélection efficace de variables par montée par coordonnée avec garanties théoriques

Résumé

Malgré l'avènement de l'apprentissage par représentation, principalement par le biais d'ap-prentissage profond, la sélection des variables (features) reste unélémentunélément clé de nombreux scénarios d'apprentissage automatique. Cet article présente une nouvelle méthode théoriquement mo-tivée pour la sélection des features. Cette approche traite leprobì eme de la sélection des features par le biais de méthodes d'optimisation par coordonnées en tenant compte des dépendances des variables, matérialisant cesdernì eres par blocs. Le faible nombre d'itérations (jusqu'` a la convergence de la méthode) atteste de l'efficacité des méthodes de gradient boosting (par exemple l'algorithme XG-Boost) pour cesprobì emes d'apprentissage super-visé. Dans le cas de fonctions convexes et lisses, nous pouvons prouver que le taux de convergence est polynomial en terme de dimension de l'en-semble complet des features. Nous comparons les résultats obtenues avec des méthodes faisant l'´ etat de l'art de la sélection des features : Recursive Features Elimination (RFE) et Binary Coordinate Ascent (BCA), afin de montrer que cette nouvelle méthode est compétitive.
Fichier principal
Vignette du fichier
cap2019.pdf (697.02 Ko) Télécharger le fichier
Origine : Fichiers produits par l'(les) auteur(s)
Loading...

Dates et versions

hal-02138132 , version 1 (23-05-2019)

Identifiants

  • HAL Id : hal-02138132 , version 1

Citer

David Saltiel, Eric Benhamou. Sélection efficace de variables par montée par coordonnée avec garanties théoriques. [Rapport de recherche] Université du Littoral Côte d'Opale. 2019. ⟨hal-02138132⟩
41 Consultations
59 Téléchargements

Partager

Gmail Facebook X LinkedIn More