Communication Dans Un Congrès Année : 2025

Visualisation des interactions multimodales dans les modèles vision-langages

Résumé

Les modèles de vision-langages (en anglais Vision-Language Models, VLMs) intègrent des informations provenant de deux modalités, à savoir le texte et l'image, pour accomplir des tâches complexes comme les systèmes de questions-réponses visuels (en anglais Visual Question-Answering, VQA). Comprendre comment ces modèles combinent ces différentes sources d'information reste un défi majeur pour l'interprétabilité des systèmes d'intelligence artificielle. Dans cet article, nous proposons une méthode d'analyse des activations internes des VLMs permettant d'identifier précisément où et comment les interactions multimodales se produisent. Contrairement aux approches existantes comme DIME, notre méthode ne se limite pas à la sortie finale du modèle, mais examine les représentations intermédiaires, couche par couche. Nous illustrons l'efficacité de notre approche sur des modèles de référence tels que Donut, révélant quelles couches sont les plus impliquées dans la fusion des modalités et comment ces interactions évoluent au fil des transformations.

Fichier principal
Vignette du fichier
ORASIS_2025_Projet_1_A.pdf (1.54 Mo) Télécharger le fichier
Origine Fichiers produits par l'(les) auteur(s)
Licence

Dates et versions

hal-05142188 , version 1 (03-07-2025)

Licence

Identifiants

  • HAL Id : hal-05142188 , version 1

Citer

Adnan Ben Mansour, Ayoub Karine. Visualisation des interactions multimodales dans les modèles vision-langages. ORASIS 2025, ISEN Yncréa Ouest, Jun 2025, Le Croisic, France. ⟨hal-05142188⟩
2303 Consultations
210 Téléchargements

Partager

  • More