Thèse Année : 2024

Theoretical guarantees and improvement of large dimensional multi-task semi-supervised classification

Garanties théoriques et amélioration de la classification multi-tâches semi-supervisée en grande dimension

Résumé

In the field of machine learning, the specific subfield of deep learning has gathered particular interest in the last decade. If deep learning has allowed quick and significant progress in a wide range of fields, this progress has been made at the expense of interpretability, accessibility, robustness and flexibility, not to mention the colossal energy consumption implied by the training of such algorithms. On the contrary, the present manuscript aims to open the path to all-encompassing flexible tools for classification problems, buttressed on elementary machine learning notions and rather basic mathematical tools.This thesis conducts a large dimensional study of a simple yet quite versatile classification model, encompassing at once multi-task and semi-supervised learning, and taking into account uncertain labeling. Using tools from random matrix theory, the asymptotics of some key functionals are characterized, which allows on the one hand to predict the performances of the proposed algorithm, and on the other hand to reveal some counter-intuitive guidance on how to use it efficiently. The model, powerful enough to provide good performance guarantees, is also straightforward enough to provide strong insight into its behavior. The resulting algorithm is also compared to an optimal bound derived from statistical physics, which gives a lower bound of the least achievable probability of misclassification for a given problem. This bound is computed in the extended case of uncertain labeling, and is used to evaluate the performances of the algorithm.

Dans le domaine de l'apprentissage machine, le sous-domaine spécifique de l'apprentissage profond a fait l'objet d'un intérêt particulier au cours de la dernière décennie. Si l'apprentissage profond a permis des avancées significatives dans de nombreux domaines, ces avancées se sont faites au détriment de l'interprétabilité, de l'accessibilité, de la robustesse et de la flexibilité, sans parler de la consommation énergétique colossale nécessaire à l'entraînement de tels algorithmes. A l'inverse, ce manuscrit a pour objectif d'ouvrir la voie à des outils généraux et flexibles pour résoudre des problèmes de classification, qui s'appuient sur des notions élémentaires d'apprentissage statistique et des outils mathématiques assez accessibles.Cette thèse mène une analyse statistique en grande dimension d'un modèle de classification à la fois simple et versatile, qui unifie dans un même modèle l'apprentissage multi-tâches et l'apprentissage semi-supervisé, et qui prend en compte la possibilité d'étiqueter les données de manière incertaine. En utilisant des outils issus de la théorie des matrices aléatoires, les statistiques asymptotiques de certaines fonctions clés sont caractérisées, ce qui permet d'une part de prédire les performances de l'algorithme proposé, et d'autre part de révéler certaines astuces contre-intuitives sur la manière de l'utiliser efficacement. Le modèle, suffisamment puissant pour donner de bonnes garanties de performance, est aussi suffisamment lisible pour apporter de bonnes intuitions sur son fonctionnement. L'algorithme produit est également comparé à une borne optimale issue de la physique statistique, qui donne une borne inférieure de la plus petite probabilité d'erreur atteignable pour un problème donné. Cette borne est calculée dans le cas étendu de l'étiquetage incertain, et est utilisée pour évaluer les performances de l'algorithme.

Fichier principal
Vignette du fichier
LEGER_2024_archivage.pdf (2.15 Mo) Télécharger le fichier
Origine Version validée par le jury (STAR)
Licence

Dates et versions

tel-04874448 , version 1 (22-04-2025)

Licence

Identifiants

  • HAL Id : tel-04874448 , version 1

Citer

Victor Leger. Theoretical guarantees and improvement of large dimensional multi-task semi-supervised classification. Computer Science [cs]. Université Grenoble Alpes [2020-..], 2024. English. ⟨NNT : 2024GRALM056⟩. ⟨tel-04874448⟩
451 Consultations
154 Téléchargements

Partager

  • More