Riemannian and stratified geometries on covariance and correlation matrices
Géométries riemanniennes et stratifiées des matrices de covariance et de corrélation
Résumé
In many applications, the data can be represented by covariance matrices or correlation matrices between several signals (EEG, MEG, fMRI), physical quantities (cells, genes), or within a time window (autocorrelation). The set of covariance matrices forms a convex cone that is not a Euclidean space but a stratified space: it has a boundary which is itself a stratified space of lower dimension. The strata are the manifolds of covariance matrices of fixed rank and the main stratum of Symmetric Positive Definite (SPD) matrices is dense in the total space. The set of correlation matrices can be described similarly.Geometric concepts such as geodesics, parallel transport, Fréchet mean were proposed for generalizing classical computations (interpolation, extrapolation, registration) and statistical analyses (mean, principal component analysis, classification, regression) to these non-linear spaces. However, these generalizations rely on the choice of a geometry, that is a basic operator such as a distance, an affine connection, a Riemannian metric, a divergence, which is assumed to be known beforehand. But in practice there is often not a unique natural geometry that satisfies the application constraints. Thus, one should explore more general families of geometries that exploit the data properties.First, the geometry must match the problem. For instance, degenerate matrices must be rejected to infinity whenever covariance matrices must be non-degenerate. Second, we should identify the invariance of the data under natural group transformations: if scaling each variable independently has no impact, then one needs a metric invariant under the positive diagonal group, for instance a product metric that decouples scales and correlations. Third, good numerical properties (closed-form formulae, efficient algorithms) are essential to use the geometry in practice.In my thesis, I study geometries on covariance and correlation matrices following these principles. In particular, I provide the associated geometric operations which are the building blocks for computing with such matrices.On SPD matrices, by analogy with the characterization of affine-invariant metrics, I characterize the continuous metrics invariant by O(n) by means of three multivariate continuous functions. Thus, I build a classification of metrics: the constraints imposed on these functions define nested classes satisfying stability properties. In particular, I reinterpret the class of kernel metrics, I introduce the family of mixed-Euclidean metrics for which I compute the curvature, and I survey and complete the knowledge on the classical metrics (log-Euclidean, Bures-Wasserstein, BKM, power-Euclidean).On full-rank correlation matrices, I compute the Riemannian operations of the quotient-affine metric. Despite its appealing construction and its invariance under permutations, I show that its curvature is of non-constant sign and unbounded from above, which makes this geometry practically very complex. I introduce computationally more convenient Hadamard or even log-Euclidean metrics, along with their geometric operations. To recover the lost invariance under permutations, I define two new permutation-invariant log-Euclidean metrics, one of them being invariant under a natural involution on full-rank correlation matrices. I also provide an efficient algorithm to compute the associated geometric operations based on the scaling of SPD matrices.Finally, I study the stratified Riemannian structure of the Bures-Wasserstein distance on covariance matrices. I compute the domain of definition of geodesics and the injection domain within each stratum and I characterize the length-minimizing curves between all the strata.
Dans de nombreuses applications, les données sont des matrices de covariance ou de corrélation entre plusieurs signaux (EEG, MEG, fMRI), grandeurs physiques (cellules, gènes) ou instants (autocorrélation). L'ensemble des matrices de covariance est un cône convexe qui est un espace stratifié non euclidien : il a un bord qui est lui-même un espace stratifié de dimension inférieure. Ses strates sont les variétés de matrices de covariance de rang fixé et la strate principale des matrices Symétriques Définies Positives (SPD) est dense dans l'espace total. L'ensemble des matrices de corrélations admet une structure similaire.Les concepts géométriques comme les géodésiques, le transport parallèle ou la moyenne de Fréchet permettent de généraliser les opérations classiques (interpolation, extrapolation, recalage) et statistiques (moyenne, analyse en composantes principales, classification, régression) à ces espaces non linéaires. Cependant, ces généralisations reposent sur le choix d'une géométrie supposée connue à l'avance, c'est-à-dire d'un opérateur de base tel qu'une distance, une connexion affine, une métrique riemannienne, une divergence. En général il n'existe pas une unique géométrie adaptée aux contraintes d'une application mais plutôt une famille de géométries à explorer pour faire ce choix.D'abord, la géométrie doit correspondre au problème. Par exemple, si les matrices de covariance doivent être inversibles, les matrices dégénérées doivent être rejetées à l'infini. Ensuite, elle doit satisfaire les invariances naturelles du problème par des groupes de transformations : si multiplier chaque variable par un facteur indépendant n'a pas d'influence, alors il faut une métrique invariante par le groupe des matrices diagonales strictement positives, par exemple une métrique produit qui découple les échelles et les corrélations. Enfin, de bonnes propriétés numériques (closes formes, algorithmes efficaces) sont essentielles pour utiliser cette géométrie en pratique.Dans ma thèse, j'étudie des géométries sur les matrices de covariance et de corrélation suivant ces principes. En particulier, je fournis les opérations géométriques associées qui sont les briques élémentaires pour calculer avec ces matrices.Sur les matrices SPD, je m'inspire de la caractérisation des métriques affine-invariantes pour caractériser les métriques continues invariantes par O(n) au moyen de trois fonctions multivariées continues. Je construis ainsi une classification de métriques : les contraintes imposées sur ces fonctions définissent des classes emboîtées satisfaisant des propriétés de stabilité. En particulier, je réinterprète la classe des "kernel metrics", j'introduis la famille des métriques "mixed-Euclidean" dont je calcule la courbure, et je résume et complète les connaissances sur les métriques classiques (log-euclidien, Bures-Wasserstein, BKM, power-Euclidean). Sur les matrices de corrélation de rang plein, je calcule les opérations riemanniennes de la métrique quotient-affine et je montre que, malgré sa construction intéressante et son invariance par permutations, sa courbure est non majorée et de signe non constant, ce qui rend sa géométrie très complexe en pratique. Pour pallier ce défaut majeur, j'introduis des métriques Hadamard ou même log-euclidiennes ainsi que leurs opérations géométriques. Pour retrouver l'invariance par permutations perdue, je définis deux nouvelles métriques log-euclidiennes invariantes par permutations, l'une d'elle étant invariante par une involution naturelle de l'espace. Je fournis aussi un algorithme efficace pour calculer les opérations géométriques associées, qui s'appuie sur le "scaling" de matrices SPD. Enfin, j'étudie la structure riemannienne stratifiée de la distance de Bures-Wasserstein sur les matrices de covariance. Je calcule le domaine de définition des géodésiques et le domaine d'injection dans chaque strate, puis je caractérise les courbes minimisant la longueur entre toutes les strates.
| Origine | Version validée par le jury (STAR) |
|---|