Learning Representations using Neural Networks and Optimal Transport
Réseaux de neurones et transport optimal pour l'apprentissage de représentations
Résumé
The last decade has seen neural networks become a reference tool in statistical learning. Indeed, this technology has established itself as an essential tool for data types as varied as images, text, sound, etc. in large scales settings. The success of neural networks also extends to reinforcement learning (games and robotics) and unsupervised learning (data analysis and generation) including unparalleled quality for image imitation with generative adversary networks. Nevertheless, neural networks remain difficult to interpret as statistical estimators. The aim of this thesis is to mitigate this drawback and further enhance the scope of neural networks through three so-called artificial intelligence applications: (i) partitioning data into groups (clustering) thanks to a proposed algorithm, (ii) finding the relevant coordinates of a signal with a notion that we dub ``the worst Wasserstein distance'' and (iii) predicting a result while estimating an associated uncertainty by revisiting and extending known methods.
Through these three contributions, we propose to answer three questions about representations: (i) How do we represent objects that belong to the groups we are trying to form ? (ii) How do we represent what makes an object resemble its kind ? (iii) How do we represent an uncertainty associated with an automatic prediction ? Thus, this work presents ways to get away from the classic supervised use of deep learning (the statisical learning field related to neural networks) with the desire to interpret these mysterious so-called black boxes thanks to new algorithmic and statistical tools. We tried hard to make sure that our use of neural networks is as interpretable as possible for a better understanding of the data at stake, beyond automatic decisions.
La dernière décennie a vu les réseaux de neurones devenir un outil de référence dans l'apprentissage statistique. En effet, cette technologie s'est imposée comme un outil essentiel pour des types de données aussi variés que les images, le texte, le son, etc. dans des contextes à grande échelle. Les succès des réseaux neuronaux s'étendent également à l'apprentissage par renforcement (jeux et robotique) et à l'apprentissage non-supervisé (analyse et génération de données), avec notamment une qualité inégalée pour l'imitation d'images avec les réseaux génératifs adversaires. Néanmoins, les réseaux neuronaux restent difficiles à interpréter en tant qu'estimateurs statistiques. L'objectif de cette thèse est d'atténuer cet inconvénient et d'accroître encore la portée des réseaux de neurones grâce à trois applications dites d'intelligence artificielle : (i) le partitionnement des données en groupes (clustering) grâce à deux algorithmes qu'on propose, (ii) la recherche des coordonnées pertinentes d'un signal avec une notion qu'on a baptisé « la pire distance de Wasserstein » et (iii) la prédiction d'un résultat munie de l'estimation d'une incertitude associée en revisitant et en étendant les méthodes connues.
À travers ces trois contributions, nous nous proposons de répondre à trois questions sur les représentations : (i) Comment représentons-nous les objets qui appartiennent aux groupes que nous essayons de former ? (ii) Comment représenter ce qui fait qu'un objet ressemble au reste des objets de son type ? (iii) Comment représenter une incertitude associée à une prédiction automatique ? Ainsi, ce travail présente des moyens de s'éloigner de l'utilisation supervisée classique du deep learning (le domaine de l'apprentissage statistique des réseaux de neurones) avec la volonté d'interpréter ces mystérieuses « boîtes noires » grâce à de nouveaux outils algorithmiques et statistiques. Nous avons veillé à ce que notre utilisation des réseaux de neurones soit la plus interprétable possible pour une meilleure compréhension des données en jeu, au-delà des décisions automatiques.
| Origine | Fichiers produits par l'(les) auteur(s) |
|---|