<?xml version="1.0" encoding="utf-8"?>
<TEI xmlns="http://www.tei-c.org/ns/1.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:hal="http://hal.archives-ouvertes.fr/" xmlns:gml="http://www.opengis.net/gml/3.3/" xmlns:gmlce="http://www.opengis.net/gml/3.3/ce" version="1.1" xsi:schemaLocation="http://www.tei-c.org/ns/1.0 http://api.archives-ouvertes.fr/documents/aofr-sword.xsd">
  <teiHeader>
    <fileDesc>
      <titleStmt>
        <title>HAL TEI export of hal-04403223</title>
      </titleStmt>
      <publicationStmt>
        <distributor>CCSD</distributor>
        <availability status="restricted">
          <licence target="https://creativecommons.org/publicdomain/zero/1.0/">CC0 1.0 - Universal</licence>
        </availability>
        <date when="2026-05-07T05:06:05+02:00"/>
      </publicationStmt>
      <sourceDesc>
        <p part="N">HAL API Platform</p>
      </sourceDesc>
    </fileDesc>
  </teiHeader>
  <text>
    <body>
      <listBibl>
        <biblFull>
          <titleStmt>
            <title xml:lang="en">Balanced Training of Energy-Based Models with Adaptive Flow Sampling</title>
            <title xml:lang="fr">Entraînement de modèles basés sur l'énergie avec des algorithmes MCMC améliorés par des Normalizing Flows</title>
            <author role="aut">
              <persName>
                <forename type="first">Louis</forename>
                <surname>Grenioux</surname>
              </persName>
              <idno type="halauthorid">3021370-0</idno>
              <affiliation ref="#struct-89626"/>
            </author>
            <author role="aut">
              <persName>
                <forename type="first">Éric</forename>
                <surname>Moulines</surname>
              </persName>
              <email type="md5">6b1231a4aba97c57fa99606c0f031009</email>
              <email type="domain">tsi.enst.fr</email>
              <idno type="idhal" notation="numeric">1350242</idno>
              <idno type="halauthorid" notation="string">1222502-1350242</idno>
              <idno type="ORCID">https://orcid.org/0000-0002-2058-0693</idno>
              <idno type="IDREF">https://www.idref.fr/076452476</idno>
              <idno type="VIAF">https://viaf.org/viaf/190144783095024669712</idno>
              <idno type="ISNI">http://isni.org/isni/000000045491609X</idno>
              <affiliation ref="#struct-89626"/>
            </author>
            <author role="aut">
              <persName>
                <forename type="first">Marylou</forename>
                <surname>Gabrié</surname>
              </persName>
              <idno type="halauthorid">1093671-0</idno>
              <affiliation ref="#struct-89626"/>
            </author>
            <editor role="depositor">
              <persName>
                <forename>Louis</forename>
                <surname>Grenioux</surname>
              </persName>
              <email type="md5">1b93e54d55538fce376395433b2505bc</email>
              <email type="domain">polytechnique.edu</email>
            </editor>
            <funder ref="#projanr-53272"/>
          </titleStmt>
          <editionStmt>
            <edition n="v1" type="current">
              <date type="whenSubmitted">2024-01-19 07:25:05</date>
              <date type="whenModified">2026-05-07 03:27:52</date>
              <date type="whenReleased">2024-01-19 07:37:29</date>
              <date type="whenProduced">2023-07-28</date>
              <date type="whenEndEmbargoed">2024-01-18</date>
              <ref type="file" target="https://hal.science/hal-04403223v1/document">
                <date notBefore="2024-01-18"/>
              </ref>
              <ref type="file" subtype="author" n="1" target="https://hal.science/hal-04403223v1/file/2306.00684.pdf" id="file-4403223-3827529">
                <date notBefore="2024-01-18"/>
              </ref>
            </edition>
            <respStmt>
              <resp>contributor</resp>
              <name key="1433687">
                <persName>
                  <forename>Louis</forename>
                  <surname>Grenioux</surname>
                </persName>
                <email type="md5">1b93e54d55538fce376395433b2505bc</email>
                <email type="domain">polytechnique.edu</email>
              </name>
            </respStmt>
          </editionStmt>
          <publicationStmt>
            <distributor>CCSD</distributor>
            <idno type="halId">hal-04403223</idno>
            <idno type="halUri">https://hal.science/hal-04403223</idno>
            <idno type="halBibtex">grenioux:hal-04403223</idno>
            <idno type="halRefHtml">&lt;i&gt;ICML 2023 Workshop on Structured Probabilistic Inference and Generative Modeling&lt;/i&gt;, Jul 2023, Honolulu (Hawaii), USA, United States</idno>
            <idno type="halRef">ICML 2023 Workshop on Structured Probabilistic Inference and Generative Modeling, Jul 2023, Honolulu (Hawaii), USA, United States</idno>
            <availability status="restricted">
              <licence target="https://about.hal.science/hal-authorisation-v1/">HAL Authorization<ref corresp="#file-4403223-3827529"/></licence>
            </availability>
          </publicationStmt>
          <seriesStmt>
            <idno type="stamp" n="X">École polytechnique</idno>
            <idno type="stamp" n="CNRS">CNRS - Centre national de la recherche scientifique</idno>
            <idno type="stamp" n="INSMI">CNRS-INSMI - INstitut des Sciences Mathématiques et de leurs Interactions</idno>
            <idno type="stamp" n="X-CMAP" corresp="X">Centre de Mathématiques Appliquées (CMAP)</idno>
            <idno type="stamp" n="X-DEP-MATHA">Département de mathématiques appliquées de l’École polytechnique</idno>
            <idno type="stamp" n="CMAP">Centre de Mathématiques Appliquées (CMAP)</idno>
            <idno type="stamp" n="IP_PARIS">Institut Polytechnique de Paris</idno>
            <idno type="stamp" n="ANR">ANR</idno>
            <idno type="stamp" n="ANR-IA-19" corresp="ANR-IA">ANR-IA-19</idno>
            <idno type="stamp" n="ANR-IA">ANR-IA</idno>
            <idno type="stamp" n="DEPARTEMENT-DE-MATHEMATIQUES">Collection du Département de Mathématiques</idno>
            <idno type="stamp" n="IP-PARIS-DEPARTEMENT-MATHEMATIQUES">Département de Mathèmatiques</idno>
            <idno type="stamp" n="IP-PARIS-MATHEMATIQUES">IP Paris Département de Mathématiques</idno>
            <idno type="stamp" n="ACADEMIE-SCIENCES-PUBLICATIONS-MEMBRES" corresp="ACADEMIE-SCIENCES">Publications des membres, correspondants et associés étrangers de l'Académie des sciences</idno>
            <idno type="stamp" n="ACADEMIE-SCIENCES-PUBLICATIONS-MEMBRES-3" corresp="ACADEMIE-SCIENCES-PUBLICATIONS-MEMBRES">Publications des membres de l'Académie des sciences (lot 3)</idno>
          </seriesStmt>
          <notesStmt>
            <note type="audience" n="2">International</note>
            <note type="invited" n="0">No</note>
            <note type="popular" n="0">No</note>
            <note type="peer" n="1">Yes</note>
            <note type="proceedings" n="0">No</note>
          </notesStmt>
          <sourceDesc>
            <biblStruct>
              <analytic>
                <title xml:lang="en">Balanced Training of Energy-Based Models with Adaptive Flow Sampling</title>
                <title xml:lang="fr">Entraînement de modèles basés sur l'énergie avec des algorithmes MCMC améliorés par des Normalizing Flows</title>
                <author role="aut">
                  <persName>
                    <forename type="first">Louis</forename>
                    <surname>Grenioux</surname>
                  </persName>
                  <idno type="halauthorid">3021370-0</idno>
                  <affiliation ref="#struct-89626"/>
                </author>
                <author role="aut">
                  <persName>
                    <forename type="first">Éric</forename>
                    <surname>Moulines</surname>
                  </persName>
                  <email type="md5">6b1231a4aba97c57fa99606c0f031009</email>
                  <email type="domain">tsi.enst.fr</email>
                  <idno type="idhal" notation="numeric">1350242</idno>
                  <idno type="halauthorid" notation="string">1222502-1350242</idno>
                  <idno type="ORCID">https://orcid.org/0000-0002-2058-0693</idno>
                  <idno type="IDREF">https://www.idref.fr/076452476</idno>
                  <idno type="VIAF">https://viaf.org/viaf/190144783095024669712</idno>
                  <idno type="ISNI">http://isni.org/isni/000000045491609X</idno>
                  <affiliation ref="#struct-89626"/>
                </author>
                <author role="aut">
                  <persName>
                    <forename type="first">Marylou</forename>
                    <surname>Gabrié</surname>
                  </persName>
                  <idno type="halauthorid">1093671-0</idno>
                  <affiliation ref="#struct-89626"/>
                </author>
              </analytic>
              <monogr>
                <meeting>
                  <title>ICML 2023 Workshop on Structured Probabilistic Inference and Generative Modeling</title>
                  <date type="start">2023-07-28</date>
                  <date type="end">2023-07-28</date>
                  <settlement>Honolulu (Hawaii), USA</settlement>
                  <country key="US">United States</country>
                </meeting>
                <imprint>
                  <date type="datePub">2023-06-26</date>
                </imprint>
              </monogr>
            </biblStruct>
          </sourceDesc>
          <profileDesc>
            <langUsage>
              <language ident="en">English</language>
            </langUsage>
            <textClass>
              <classCode scheme="halDomain" n="stat.ml">Statistics [stat]/Machine Learning [stat.ML]</classCode>
              <classCode scheme="halTypology" n="COMM">Conference papers</classCode>
              <classCode scheme="halOldTypology" n="COMM">Conference papers</classCode>
              <classCode scheme="halTreeTypology" n="COMM">Conference papers</classCode>
            </textClass>
            <abstract xml:lang="en">
              <p>Energy-based models (EBMs) are versatile density estimation models that directly parameterize an unnormalized log density. Although very flexible, EBMs lack a specified normalization constant of the model, making the likelihood of the model computationally intractable. Several approximate samplers and variational inference techniques have been proposed to estimate the likelihood gradients for training. These techniques have shown promising results in generating samples, but little attention has been paid to the statistical accuracy of the estimated density, such as determining the relative importance of different classes in a dataset. In this work, we propose a new maximum likelihood training algorithm for EBMs that uses a different type of generative model, normalizing flows (NF), which have recently been proposed to facilitate sampling. Our method fits an NF to an EBM during training so that an NF-assisted sampling scheme provides an accurate gradient for the EBMs at all times, ultimately leading to a fast sampler for generating new data.</p>
            </abstract>
            <abstract xml:lang="fr">
              <p>Les modèles basés sur l'énergie (EBM) sont des modèles polyvalents d'estimation de la densité qui paramètrisent directement une densité logarithmique non normalisée. Bien que très flexibles, les EBM ne disposent pas d'une constante de normalisation spécifiée pour le modèle, ce qui rend la vraisemblance du modèle difficile à calculer. Plusieurs échantillonneurs approximatifs et techniques d'inférence variationnelle ont été proposés pour estimer les gradients de log-vraisemblance pour l'entraînement. Ces techniques ont donné des résultats prometteurs dans la génération d'échantillons, mais peu d'attention a été accordée à la précision statistique de la densité estimée, comme la détermination de l'importance relative des différentes classes dans un ensemble de données. Dans ce travail, nous proposons un nouvel algorithme d'apprentissage par maximum de vraisemblance pour les EBM qui utilise un type différent de modèle génératif, les Normalizing Flows (NF), qui ont été récemment proposés pour faciliter l'échantillonnage. Notre méthode adapte un NF à un EBM pendant l'entraînement, de sorte qu'un plan d'échantillonnage assisté par NF fournit un gradient précis pour les EBM à tout moment, ce qui aboutit finalement à un échantillonneur rapide pour la génération de nouvelles données.</p>
            </abstract>
          </profileDesc>
        </biblFull>
      </listBibl>
    </body>
    <back>
      <listOrg type="structures">
        <org type="laboratory" xml:id="struct-89626" status="VALID">
          <idno type="IdRef">197373461</idno>
          <idno type="ISNI">000000010944436X</idno>
          <idno type="RNSR">199719340P</idno>
          <idno type="ROR">https://ror.org/012e1xn46</idno>
          <idno type="Wikidata">Q16008922</idno>
          <orgName>Centre de Mathématiques Appliquées de l'Ecole polytechnique</orgName>
          <orgName type="acronym">CMAP</orgName>
          <date type="start">2005-01-01</date>
          <desc>
            <address>
              <addrLine>Route de Saclay, 91128 Palaiseau Cedex</addrLine>
              <country key="FR"/>
            </address>
            <ref type="url">https://cmap.ip-paris.fr/</ref>
          </desc>
          <listRelation>
            <relation active="#struct-300009" type="direct"/>
            <relation active="#struct-300340" type="direct"/>
            <relation active="#struct-563936" type="indirect"/>
            <relation name="UMR7641" active="#struct-441569" type="direct"/>
          </listRelation>
        </org>
        <org type="institution" xml:id="struct-300009" status="VALID">
          <idno type="ROR">https://ror.org/02kvxyf05</idno>
          <orgName>Institut National de Recherche en Informatique et en Automatique</orgName>
          <orgName type="acronym">Inria</orgName>
          <desc>
            <address>
              <addrLine>Domaine de VoluceauRocquencourt - BP 10578153 Le Chesnay Cedex</addrLine>
              <country key="FR"/>
            </address>
            <ref type="url">http://www.inria.fr/en/</ref>
          </desc>
        </org>
        <org type="institution" xml:id="struct-300340" status="VALID">
          <idno type="IdRef">027309320</idno>
          <idno type="ISNI">0000000121581279</idno>
          <idno type="ROR">https://ror.org/05hy3tk52</idno>
          <idno type="Wikidata">Q273626</idno>
          <orgName>École polytechnique</orgName>
          <orgName type="acronym">X</orgName>
          <date type="start">1794-03-11</date>
          <desc>
            <address>
              <addrLine>Route de Saclay, 91128 Palaiseau Cedex</addrLine>
              <country key="FR"/>
            </address>
            <ref type="url">https://www.polytechnique.edu/</ref>
          </desc>
          <listRelation>
            <relation active="#struct-563936" type="direct"/>
          </listRelation>
        </org>
        <org type="regroupinstitution" xml:id="struct-563936" status="VALID">
          <idno type="IdRef">238327159</idno>
          <idno type="ISNI">0000000502717600</idno>
          <idno type="ROR">https://ror.org/042tfbd02</idno>
          <idno type="Wikidata">Q48759778</idno>
          <orgName>Institut Polytechnique de Paris</orgName>
          <orgName type="acronym">IP Paris</orgName>
          <date type="start">2019-06-02</date>
          <desc>
            <address>
              <addrLine>Route de Saclay, 91120 Palaiseau Cedex, France</addrLine>
              <country key="FR"/>
            </address>
            <ref type="url">https://www.ip-paris.fr</ref>
          </desc>
        </org>
        <org type="regroupinstitution" xml:id="struct-441569" status="VALID">
          <idno type="IdRef">02636817X</idno>
          <idno type="ISNI">0000000122597504</idno>
          <idno type="ROR">https://ror.org/02feahw73</idno>
          <orgName>Centre National de la Recherche Scientifique</orgName>
          <orgName type="acronym">CNRS</orgName>
          <date type="start">1939-10-19</date>
          <desc>
            <address>
              <country key="FR"/>
            </address>
            <ref type="url">https://www.cnrs.fr/</ref>
          </desc>
        </org>
      </listOrg>
      <listOrg type="projects">
        <org type="anrProject" xml:id="projanr-53272" status="VALID">
          <idno type="anr">ANR-19-CHIA-0002</idno>
          <orgName>SCAI</orgName>
          <desc>Inférence statistique, méthodes numériques et Intelligence Artificielle</desc>
          <date type="start">2019</date>
        </org>
      </listOrg>
    </back>
  </text>
</TEI>