Apprentissage stochastique de représentation binaire pour la classification multi-classe dans un grand nombre de catégories
Résumé
Dans le contexte de la classification multi-classe à grande échelle, les approches ensemblistes naïves telles que les classifieurs un contre tous sont considérées comme les plus performantes en matière de performance prédictive. Cependant, elles passent difficilement à l'échelle lorsque le nombre de catégories croît, la complexité en temps d'inférence et en taille des modèles évoluant a minima linéairement en fonction du nombre de catégories. En général deux grands types d'approches sont établis pour résoudre ce problème : la classification hiérarchique, qui nécessite souvent l'apprentissage d'une ontologie du problème comme préalable à la classification ; les méthodes ensemblistes telles que des représentations binaires pour compresser l'information (ECOC). Ces méthodes font souvent intervenir des a priori et des heuristiques plus ou moins complexes. Le travail présenté dans cet article introduit un nouveau modèle neuronal exploitant un apprentissage de représentation binaire-des codes sémantiques-pour projeter dans un même espace les entrées et les catégories associées. L'apprentissage des deux projections est effectué de manière simultanée en intégrant une couche discrète probabiliste non différentiable afin d'explorer l'espace de représentation binaire discret des codes associant exemples et classes. Cette architecture nommée Deep Stochastic Neural Code (DSNC) permet l'inférence d'une classe en un temps sous linéaire-et constant dans le cas extrême-en fonction du nombre de classes du problème sans nécessiter d'a priori sur les données. Les expériences sur plusieurs jeux de données large échelle permettent d'illustrer l'efficacité de notre approche. Mots-clef : Classification Mono-Label, Réseaux de Neurones. 1. En pratique, une taille du code en α(log(k)) est nécessaire pour assurer une bonne précision avec α ∈ [10, 20]
Origine | Fichiers produits par l'(les) auteur(s) |
---|