<?xml version="1.0" encoding="utf-8"?>
<TEI xmlns="http://www.tei-c.org/ns/1.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:hal="http://hal.archives-ouvertes.fr/" xmlns:gml="http://www.opengis.net/gml/3.3/" xmlns:gmlce="http://www.opengis.net/gml/3.3/ce" version="1.1" xsi:schemaLocation="http://www.tei-c.org/ns/1.0 http://api.archives-ouvertes.fr/documents/aofr-sword.xsd">
  <teiHeader>
    <fileDesc>
      <titleStmt>
        <title>HAL TEI export of hal-05142188</title>
      </titleStmt>
      <publicationStmt>
        <distributor>CCSD</distributor>
        <availability status="restricted">
          <licence target="https://creativecommons.org/publicdomain/zero/1.0/">CC0 1.0 - Universal</licence>
        </availability>
        <date when="2026-05-15T19:22:40+02:00"/>
      </publicationStmt>
      <sourceDesc>
        <p part="N">HAL API Platform</p>
      </sourceDesc>
    </fileDesc>
  </teiHeader>
  <text>
    <body>
      <listBibl>
        <biblFull>
          <titleStmt>
            <title xml:lang="fr">Visualisation des interactions multimodales dans les modèles vision-langages</title>
            <author role="aut">
              <persName>
                <forename type="first">Adnan</forename>
                <surname>Ben Mansour</surname>
              </persName>
              <idno type="halauthorid">2690912-0</idno>
              <affiliation ref="#struct-25027"/>
              <affiliation ref="#struct-1004851"/>
              <affiliation ref="#struct-1153528"/>
            </author>
            <author role="aut">
              <persName>
                <forename type="first">Ayoub</forename>
                <surname>Karine</surname>
              </persName>
              <email type="md5">1244d49d9dd85105f2506474abde5dce</email>
              <email type="domain">u-paris.fr</email>
              <idno type="idhal" notation="string">ayoubkarine</idno>
              <idno type="idhal" notation="numeric">1158418</idno>
              <idno type="halauthorid" notation="string">28751-1158418</idno>
              <idno type="ORCID">https://orcid.org/0000-0002-9304-4613</idno>
              <affiliation ref="#struct-1004851"/>
            </author>
            <editor role="depositor">
              <persName>
                <forename>Thibault</forename>
                <surname>Napoléon</surname>
              </persName>
              <email type="md5">6fed0fec9fd1ae655b5298ddec9cc696</email>
              <email type="domain">gmail.com</email>
            </editor>
          </titleStmt>
          <editionStmt>
            <edition n="v1" type="current">
              <date type="whenSubmitted">2025-07-03 12:30:20</date>
              <date type="whenModified">2025-07-10 03:14:32</date>
              <date type="whenReleased">2025-07-08 15:03:30</date>
              <date type="whenProduced">2025-06-09</date>
              <date type="whenEndEmbargoed">2025-07-03</date>
              <ref type="file" target="https://hal.science/hal-05142188v1/document">
                <date notBefore="2025-07-03"/>
              </ref>
              <ref type="file" subtype="author" n="1" target="https://hal.science/hal-05142188v1/file/ORASIS_2025_Projet_1_A.pdf" id="file-5142188-4441918">
                <date notBefore="2025-07-03"/>
              </ref>
            </edition>
            <respStmt>
              <resp>contributor</resp>
              <name key="160262">
                <persName>
                  <forename>Thibault</forename>
                  <surname>Napoléon</surname>
                </persName>
                <email type="md5">6fed0fec9fd1ae655b5298ddec9cc696</email>
                <email type="domain">gmail.com</email>
              </name>
            </respStmt>
          </editionStmt>
          <publicationStmt>
            <distributor>CCSD</distributor>
            <idno type="halId">hal-05142188</idno>
            <idno type="halUri">https://hal.science/hal-05142188</idno>
            <idno type="halBibtex">benmansour:hal-05142188</idno>
            <idno type="halRefHtml">&lt;i&gt;ORASIS 2025&lt;/i&gt;, ISEN Yncréa Ouest, Jun 2025, Le Croisic, France</idno>
            <idno type="halRef">ORASIS 2025, ISEN Yncréa Ouest, Jun 2025, Le Croisic, France</idno>
            <availability status="restricted">
              <licence target="https://about.hal.science/hal-authorisation-v1/">HAL Authorization<ref corresp="#file-5142188-4441918"/></licence>
            </availability>
          </publicationStmt>
          <seriesStmt>
            <idno type="stamp" n="ENS-PARIS">Ecole Normale Supérieure de Paris</idno>
            <idno type="stamp" n="CNRS">CNRS - Centre national de la recherche scientifique</idno>
            <idno type="stamp" n="LIPADE">Laboratoire d'Informatique PAris DEscartes - EA 2517</idno>
            <idno type="stamp" n="PSL">Université Paris sciences et lettres</idno>
            <idno type="stamp" n="UNIV-PARIS">Université Paris Cité</idno>
            <idno type="stamp" n="UNIVERSITE-PARIS" corresp="UNIV-PARIS">Université Paris Cité</idno>
            <idno type="stamp" n="UP-SCIENCES">Université Paris Cité - Faculté des Sciences</idno>
            <idno type="stamp" n="ENS-PSL" corresp="PSL">École normale supérieure - PSL</idno>
            <idno type="stamp" n="DIENS" corresp="ENS-PARIS">Département d'informatique de l'ENS-PSL</idno>
            <idno type="stamp" n="ORASIS2025">ORASIS 2025</idno>
          </seriesStmt>
          <notesStmt>
            <note type="audience" n="2">International</note>
            <note type="invited" n="0">No</note>
            <note type="popular" n="0">No</note>
            <note type="peer" n="1">Yes</note>
            <note type="proceedings" n="1">Yes</note>
          </notesStmt>
          <sourceDesc>
            <biblStruct>
              <analytic>
                <title xml:lang="fr">Visualisation des interactions multimodales dans les modèles vision-langages</title>
                <author role="aut">
                  <persName>
                    <forename type="first">Adnan</forename>
                    <surname>Ben Mansour</surname>
                  </persName>
                  <idno type="halauthorid">2690912-0</idno>
                  <affiliation ref="#struct-25027"/>
                  <affiliation ref="#struct-1004851"/>
                  <affiliation ref="#struct-1153528"/>
                </author>
                <author role="aut">
                  <persName>
                    <forename type="first">Ayoub</forename>
                    <surname>Karine</surname>
                  </persName>
                  <email type="md5">1244d49d9dd85105f2506474abde5dce</email>
                  <email type="domain">u-paris.fr</email>
                  <idno type="idhal" notation="string">ayoubkarine</idno>
                  <idno type="idhal" notation="numeric">1158418</idno>
                  <idno type="halauthorid" notation="string">28751-1158418</idno>
                  <idno type="ORCID">https://orcid.org/0000-0002-9304-4613</idno>
                  <affiliation ref="#struct-1004851"/>
                </author>
              </analytic>
              <monogr>
                <meeting>
                  <title>ORASIS 2025</title>
                  <date type="start">2025-06-09</date>
                  <date type="end">2025-06-13</date>
                  <settlement>Le Croisic</settlement>
                  <country key="FR">France</country>
                </meeting>
                <respStmt>
                  <resp>conferenceOrganizer</resp>
                  <name>ISEN Yncréa Ouest</name>
                </respStmt>
                <imprint/>
              </monogr>
              <ref target="https://orasis2025.sciencesconf.org/622637" type="seeAlso"/>
            </biblStruct>
          </sourceDesc>
          <profileDesc>
            <langUsage>
              <language ident="fr">French</language>
            </langUsage>
            <textClass>
              <keywords scheme="author">
                <term xml:lang="fr">Fusion Multimodale</term>
                <term xml:lang="fr">Visual Question Answering</term>
                <term xml:lang="fr">Modèles de Langage Visuel</term>
                <term xml:lang="fr">Interprétabilité Mécanistique</term>
              </keywords>
              <classCode scheme="halDomain" n="info">Computer Science [cs]</classCode>
              <classCode scheme="halTypology" n="COMM">Conference papers</classCode>
              <classCode scheme="halOldTypology" n="COMM">Conference papers</classCode>
              <classCode scheme="halTreeTypology" n="COMM">Conference papers</classCode>
            </textClass>
            <abstract xml:lang="fr">
              <p>&lt;div&gt;&lt;p&gt;Les modèles de vision-langages (en anglais Vision-Language Models, VLMs) intègrent des informations provenant de deux modalités, à savoir le texte et l'image, pour accomplir des tâches complexes comme les systèmes de questions-réponses visuels (en anglais Visual Question-Answering, VQA). Comprendre comment ces modèles combinent ces différentes sources d'information reste un défi majeur pour l'interprétabilité des systèmes d'intelligence artificielle. Dans cet article, nous proposons une méthode d'analyse des activations internes des VLMs permettant d'identifier précisément où et comment les interactions multimodales se produisent. Contrairement aux approches existantes comme DIME, notre méthode ne se limite pas à la sortie finale du modèle, mais examine les représentations intermédiaires, couche par couche. Nous illustrons l'efficacité de notre approche sur des modèles de référence tels que Donut, révélant quelles couches sont les plus impliquées dans la fusion des modalités et comment ces interactions évoluent au fil des transformations.&lt;/p&gt;&lt;/div&gt;</p>
            </abstract>
          </profileDesc>
        </biblFull>
      </listBibl>
    </body>
    <back>
      <listOrg type="structures">
        <org type="regrouplaboratory" xml:id="struct-25027" status="VALID">
          <idno type="IdRef">148034055</idno>
          <idno type="RNSR">199812876J</idno>
          <idno type="ROR">05y6rqs46</idno>
          <orgName>Département d'informatique - ENS-PSL</orgName>
          <orgName type="acronym">DI-ENS</orgName>
          <date type="start">1999-01-01</date>
          <desc>
            <address>
              <addrLine>École normale supérieure 45 rue d'Ulm F-75230 Paris Cedex 05</addrLine>
              <country key="FR"/>
            </address>
            <ref type="url">http://www.di.ens.fr/</ref>
          </desc>
          <listRelation>
            <relation active="#struct-59704" type="direct"/>
            <relation active="#struct-564132" type="indirect"/>
            <relation active="#struct-300009" type="direct"/>
            <relation name="UMR8548" active="#struct-441569" type="direct"/>
          </listRelation>
        </org>
        <org type="laboratory" xml:id="struct-1004851" status="VALID">
          <idno type="RNSR">199814046F</idno>
          <orgName>Laboratoire d'Informatique Paris Descartes</orgName>
          <orgName type="acronym">LIPADE (URP_2517)</orgName>
          <date type="start">2020-01-01</date>
          <desc>
            <address>
              <addrLine>Centre universitaire des Saints Pères45 rue des Saints-Peres75270 PARIS CEDEX 06</addrLine>
              <country key="FR"/>
            </address>
            <ref type="url">http://lipade.math-info.univ-paris5.fr/</ref>
          </desc>
          <listRelation>
            <relation name="URP_2517" active="#struct-557826" type="direct"/>
          </listRelation>
        </org>
        <org type="institution" xml:id="struct-1153528" status="INCOMING">
          <orgName>be-ys research</orgName>
          <desc>
            <address>
              <country key="FR"/>
            </address>
          </desc>
        </org>
        <org type="institution" xml:id="struct-59704" status="VALID">
          <idno type="IdRef">031738419</idno>
          <idno type="ISNI">0000000123532622</idno>
          <idno type="ROR">https://ror.org/05a0dhs15</idno>
          <orgName>École normale supérieure - Paris</orgName>
          <orgName type="acronym">ENS-PSL</orgName>
          <date type="start">1985-07-24</date>
          <desc>
            <address>
              <addrLine>45, Rue d'Ulm - 75230 Paris cedex 05</addrLine>
              <country key="FR"/>
            </address>
            <ref type="url">https://www.ens.psl.eu/</ref>
          </desc>
          <listRelation>
            <relation active="#struct-564132" type="direct"/>
          </listRelation>
        </org>
        <org type="regroupinstitution" xml:id="struct-564132" status="VALID">
          <idno type="IdRef">241597595</idno>
          <idno type="ISNI">0000 0004 1784 3645</idno>
          <idno type="ROR">https://ror.org/013cjyk83</idno>
          <orgName>Université Paris Sciences et Lettres</orgName>
          <orgName type="acronym">PSL</orgName>
          <desc>
            <address>
              <addrLine>60 rue Mazarine 75006 Paris</addrLine>
              <country key="FR"/>
            </address>
            <ref type="url">https://www.psl.eu/</ref>
          </desc>
        </org>
        <org type="institution" xml:id="struct-300009" status="VALID">
          <idno type="ROR">https://ror.org/02kvxyf05</idno>
          <orgName>Institut National de Recherche en Informatique et en Automatique</orgName>
          <orgName type="acronym">Inria</orgName>
          <desc>
            <address>
              <addrLine>Domaine de VoluceauRocquencourt - BP 10578153 Le Chesnay Cedex</addrLine>
              <country key="FR"/>
            </address>
            <ref type="url">http://www.inria.fr/en/</ref>
          </desc>
        </org>
        <org type="regroupinstitution" xml:id="struct-441569" status="VALID">
          <idno type="IdRef">02636817X</idno>
          <idno type="ISNI">0000000122597504</idno>
          <idno type="ROR">https://ror.org/02feahw73</idno>
          <orgName>Centre National de la Recherche Scientifique</orgName>
          <orgName type="acronym">CNRS</orgName>
          <date type="start">1939-10-19</date>
          <desc>
            <address>
              <country key="FR"/>
            </address>
            <ref type="url">https://www.cnrs.fr/</ref>
          </desc>
        </org>
        <org type="institution" xml:id="struct-557826" status="VALID">
          <idno type="IdRef">236453505</idno>
          <idno type="ISNI">0000 0004 7885 7602</idno>
          <idno type="ROR">https://ror.org/05f82e368</idno>
          <orgName>Université Paris Cité</orgName>
          <orgName type="acronym">UPCité</orgName>
          <date type="start">2020-01-01</date>
          <desc>
            <address>
              <addrLine>85 boulevard Saint-Germain75006 Paris</addrLine>
              <country key="FR"/>
            </address>
            <ref type="url">https://u-paris.fr/</ref>
          </desc>
        </org>
      </listOrg>
    </back>
  </text>
</TEI>