Multi-view variational autoencoders allow for interpretability leveraging digital Avatars: application to the HBN cohort - Archive ouverte HAL Accéder directement au contenu
Communication Dans Un Congrès Année : 2023

Multi-view variational autoencoders allow for interpretability leveraging digital Avatars: application to the HBN cohort

Les autoencodeurs multi-vues permettent de l'interprétation en utilisant des avatars numériques : Application à la cohorte HBN

Corentin Ambroise
  • Fonction : Auteur
  • PersonId : 1355496
Antoine Grigis
  • Fonction : Auteur
Vincent Frouin
  • Fonction : Auteur

Résumé

If neural network-based methods are praised for their prediction performance, they are often criticized for their lack of interpretability. When dealing with multi-omics or multi-modal data, neural network methods must be able learn the independent and joint effect of heterogeneous views while yielding interpretable results intra- and inter-views. In the literature, multi-view generative models exist to learn joint information in a reduced-size latent space. Among these models, multi-view variational autoencoders are very promising. In this work, we demonstrate how they provide a convenient statistical framework to learn the input data joint distribution and offer opportunities for the results interpretation. We design a method that discovers the relationships between one view and others. The generative capabilities of the model enable the exploration of a whole disorder spectrum through the generation of realistic values. While modifying a subject's clinical score, the model retrieves a representation of the subject's brain at this clinical status, so-called digital avatar. By computing associations between cortical regions measures and behavioral scores, we showcase that such digital avatars convey interpretable information in a multi-modal cohort with children experiencing mental health issues.
Si les méthodes basées sur les réseaux de neurones sont louées pour leurs performances en matière de prédiction, elles sont souvent critiquées pour leur manque d'interprétabilité. Lorsqu'elles traitent des données multiomiques ou multimodales, les méthodes de réseaux de neurones doivent être capables d'apprendre l'effet indépendant et conjoint de vues hétérogènes tout en produisant des résultats interprétables à l'intérieur et entre les vues. Dans la littérature, il existe des modèles génératifs multi-vues pour apprendre des informations conjointes dans un espace latent de taille réduite. Parmi ces modèles, les autoencodeurs variationnels multi-vues sont très prometteurs. Dans ce travail, nous démontrons comment ils fournissent un cadre statistique pratique pour apprendre la distribution conjointe des données d'entrée et offrent des possibilités d'interprétation des résultats. Nous concevons une méthode qui permet de découvrir les relations entre une vue et les autres. Les capacités génératives du modèle permettent d'explorer tout un spectre de troubles en générant des valeurs réalistes. En modifiant le score clinique d'un sujet, le modèle récupère une représentation du cerveau du sujet dans cet état clinique, ce qu'on appelle un avatar numérique. En calculant les associations entre les mesures sur des régions corticales et les scores comportementaux, nous montrons que ces avatars numériques transmettent des informations interprétables dans une cohorte multimodale d'enfants souffrant de problèmes de santé mentale.
Fichier principal
Vignette du fichier
Multi-View_Variational_Autoencoders_Allow_for_Interpretability_Leveraging_Digital_Avatars_Application_to_the_HBN_Cohort.pdf (3.18 Mo) Télécharger le fichier
Origine : Fichiers éditeurs autorisés sur une archive ouverte
Licence : Copyright (Tous droits réservés)

Dates et versions

hal-04471508 , version 1 (22-02-2024)

Licence

Copyright (Tous droits réservés)

Identifiants

Citer

Corentin Ambroise, Antoine Grigis, Edouard Duchesnay, Vincent Frouin. Multi-view variational autoencoders allow for interpretability leveraging digital Avatars: application to the HBN cohort. ISBI 2023 - 2023 IEEE 20th International Symposium on Biomedical Imaging ISBI, Apr 2023, Cartagene, Colombia. pp.1-5, ⟨10.1109/ISBI53787.2023.10230552⟩. ⟨hal-04471508⟩
9 Consultations
3 Téléchargements

Altmetric

Partager

Gmail Facebook X LinkedIn More