Visualisation des interactions multimodales dans les modèles vision-langages
Résumé
Les modèles de vision-langages (en anglais Vision-Language Models, VLMs) intègrent des informations provenant de deux modalités, à savoir le texte et l'image, pour accomplir des tâches complexes comme les systèmes de questions-réponses visuels (en anglais Visual Question-Answering, VQA). Comprendre comment ces modèles combinent ces différentes sources d'information reste un défi majeur pour l'interprétabilité des systèmes d'intelligence artificielle. Dans cet article, nous proposons une méthode d'analyse des activations internes des VLMs permettant d'identifier précisément où et comment les interactions multimodales se produisent. Contrairement aux approches existantes comme DIME, notre méthode ne se limite pas à la sortie finale du modèle, mais examine les représentations intermédiaires, couche par couche. Nous illustrons l'efficacité de notre approche sur des modèles de référence tels que Donut, révélant quelles couches sont les plus impliquées dans la fusion des modalités et comment ces interactions évoluent au fil des transformations.
| Origine | Fichiers produits par l'(les) auteur(s) |
|---|---|
| Licence |