Contributions to Optimal Transport for Machine Learning: Ground Metric and Generalized Framework
Contributions au Transport Optimal pour l'Apprentissage Machine : Métrique de Terrain et Cadre Généralisé
Résumé
The Optimal Transport theory not only defines a notion of distance between probability measures, but can also align two distributions. During the past few years, Optimal Transport found many applications in Machine Learning, such as the approximation of a distribution in GANs for the generation of new points or the adaptation of labeled source data to unlabeled target examples to solve transfer learning tasks. Given a ground metric that allows to compare two points of a vector space, the transport between distributions is said to be optimal when it minimizes the global cost for moving one distribution to another. Although often difficult to compute, the corresponding Wasserstein distance intuitively generalizes the usual metrics between points on a vector space to the space of probability measures. In Machine Learning, the Euclidean distance is the most used ground metric despite the wide variety of possible candidates. In this thesis, we study the interest of learning more complex metrics to solve Machine Learning problems with two distinct ideas. The first one uses additional label information to improve the transportation for a classification task, while the second one proposes to choose the most stable metric in a set of functions to perform the Optimal Transport between two distributions. Based on a sampling strategy, we also propose an efficient algorithm for the Gromov Wasserstein problem, an extension of Optimal Transport which handles similarity matrices computed in incomparable vector spaces. Finally, based on this latter, we present a generalization of the Optimal Transport problem that defines a distance between tensors of arbitrary dimension.
La théorie du Transport Optimal permet non seulement de définir une notion de distance entre distributions de probabilité, mais propose aussi une correspondance entre celles-ci sous la forme d'un plan de transport. Cette théorie a été à la base de nombreux récents travaux en Apprentissage Machine, notamment dans les GANs pour l'approximation de distributions à des fins de génération de nouveaux exemples ou en adaptation de domaine. Étant donnée une métrique permettant de comparer deux points d'un espace vectoriel, le transport entre distributions est dit optimal si il minimise le coût global pour déplacer une distribution vers une autre. Bien que souvent difficile à calculer, la distance obtenue de Wasserstein généralise de manière intuitive les métriques usuelles entre points d'un espace vectoriel. En Apprentissage Machine, la distance Euclidienne est souvent exploitée par défaut comme métrique de base malgré la grande variété d'autres fonctions candidates possibles. Dans cette thèse, nous abordons tout d'abord l'intérêt d'apprendre des métriques plus complexes pour résoudre des problèmes d'Apprentissage Machine. La première contribution utilise des informations additionnelles d'étiquettes pour optimiser une métrique de Mahalanobis, tandis que la seconde propose de choisir la métrique la plus stable dans un ensemble de fonction candidates pour effectuer le Transport Optimal entre deux distributions. Nous proposons également un algorithme efficace pour résoudre le problème difficile de Gromov Wasserstein, une extension du Transport Optimal permettant de comparer des matrices de similarité venant d'espaces vectoriels différents. Enfin, en s'appuyant sur ce nouvel algorithme, nous présentons une nouvelle extension du problème du Transport Optimal qui définit une distance entre tenseurs de dimension quelconque.
| Origine | Fichiers produits par l'(les) auteur(s) |
|---|