<?xml version="1.0" encoding="utf-8"?>
<TEI xmlns="http://www.tei-c.org/ns/1.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:hal="http://hal.archives-ouvertes.fr/" xmlns:gml="http://www.opengis.net/gml/3.3/" xmlns:gmlce="http://www.opengis.net/gml/3.3/ce" version="1.1" xsi:schemaLocation="http://www.tei-c.org/ns/1.0 http://api.archives-ouvertes.fr/documents/aofr-sword.xsd">
  <teiHeader>
    <fileDesc>
      <titleStmt>
        <title>HAL TEI export of tel-04198797</title>
      </titleStmt>
      <publicationStmt>
        <distributor>CCSD</distributor>
        <availability status="restricted">
          <licence target="https://creativecommons.org/publicdomain/zero/1.0/">CC0 1.0 - Universal</licence>
        </availability>
        <date when="2026-05-26T12:03:49+02:00"/>
      </publicationStmt>
      <sourceDesc>
        <p part="N">HAL API Platform</p>
      </sourceDesc>
    </fileDesc>
  </teiHeader>
  <text>
    <body>
      <listBibl>
        <biblFull>
          <titleStmt>
            <title xml:lang="en">On Several Mathematical and Data-Driven Models for Image and Video Editing, Synthesis and Analysis</title>
            <author role="aut">
              <persName>
                <forename type="first">Alasdair</forename>
                <surname>Newson</surname>
              </persName>
              <email type="md5">176b0d45c015a19d1782487ef69ec239</email>
              <email type="domain">gmail.com</email>
              <idno type="idhal" notation="numeric">1052788</idno>
              <idno type="halauthorid" notation="string">719239-1052788</idno>
              <idno type="ORCID">https://orcid.org/0000-0003-4247-0249</idno>
              <idno type="IDREF">https://www.idref.fr/264332393</idno>
              <affiliation ref="#struct-554445"/>
              <affiliation ref="#struct-554512"/>
            </author>
            <editor role="depositor">
              <persName>
                <forename>Alasdair</forename>
                <surname>Newson</surname>
              </persName>
              <email type="md5">176b0d45c015a19d1782487ef69ec239</email>
              <email type="domain">gmail.com</email>
            </editor>
          </titleStmt>
          <editionStmt>
            <edition n="v1" type="current">
              <date type="whenSubmitted">2023-09-07 12:49:53</date>
              <date type="whenModified">2026-02-04 03:26:46</date>
              <date type="whenReleased">2023-09-08 14:01:56</date>
              <date type="whenProduced">2023-02-15</date>
              <date type="whenEndEmbargoed">2023-09-07</date>
              <ref type="file" target="https://hal.science/tel-04198797v1/document">
                <date notBefore="2023-09-07"/>
              </ref>
              <ref type="file" subtype="author" n="1" target="https://hal.science/tel-04198797v1/file/hdr_alasdair_newson.pdf" id="file-4198797-3661778">
                <date notBefore="2023-09-07"/>
              </ref>
            </edition>
            <respStmt>
              <resp>contributor</resp>
              <name key="184948">
                <persName>
                  <forename>Alasdair</forename>
                  <surname>Newson</surname>
                </persName>
                <email type="md5">176b0d45c015a19d1782487ef69ec239</email>
                <email type="domain">gmail.com</email>
              </name>
            </respStmt>
          </editionStmt>
          <publicationStmt>
            <distributor>CCSD</distributor>
            <idno type="halId">tel-04198797</idno>
            <idno type="halUri">https://hal.science/tel-04198797</idno>
            <idno type="halBibtex">newson:tel-04198797</idno>
            <idno type="halRefHtml">Computer Vision and Pattern Recognition [cs.CV]. Institut Polytechnique de Paris, 2023</idno>
            <idno type="halRef">Computer Vision and Pattern Recognition [cs.CV]. Institut Polytechnique de Paris, 2023</idno>
            <availability status="restricted">
              <licence target="https://about.hal.science/hal-authorisation-v1/">HAL Authorization<ref corresp="#file-4198797-3661778"/></licence>
            </availability>
          </publicationStmt>
          <seriesStmt>
            <idno type="stamp" n="ENST">Ecole Nationale Supérieure des Télécommunications</idno>
            <idno type="stamp" n="TELECOM-PARISTECH" corresp="PARISTECH">Télécom Paris</idno>
            <idno type="stamp" n="LTCI" corresp="TELECOM-PARISTECH">Laboratoire Traitement et Communication de l'Information</idno>
            <idno type="stamp" n="IDS" corresp="TELECOM-PARISTECH">Département Image, Données, Signal</idno>
            <idno type="stamp" n="IMAGES" corresp="TELECOM-PARISTECH">Equipe Image, Modélisation, Analyse, GEométrie, Synthèse</idno>
            <idno type="stamp" n="IP_PARIS">Institut Polytechnique de Paris</idno>
            <idno type="stamp" n="INSTITUTS-TELECOM">composantes instituts telecom </idno>
            <idno type="stamp" n="INSTITUT-MINES-TELECOM">Institut Mines Telecom</idno>
            <idno type="stamp" n="DEPARTEMENT-DE-MATHEMATIQUES">Collection du Département de Mathématiques</idno>
            <idno type="stamp" n="IP-PARIS-DEPARTEMENT-MATHEMATIQUES">Département de Mathèmatiques</idno>
            <idno type="stamp" n="IP-PARIS-MATHEMATIQUES">IP Paris Département de Mathématiques</idno>
            <idno type="stamp" n="IP-PARIS-INFORMATION-COMMUNICATION-ELECTRONIQUE">IP Paris Département d'Information, de Communication et d'Électronique</idno>
            <idno type="stamp" n="IP-PARIS-INFORMATIQUE-DONNEES-ET-IA">IP Paris Département d'Informatique, de Données et d'IA</idno>
          </seriesStmt>
          <notesStmt/>
          <sourceDesc>
            <biblStruct>
              <analytic>
                <title xml:lang="en">On Several Mathematical and Data-Driven Models for Image and Video Editing, Synthesis and Analysis</title>
                <author role="aut">
                  <persName>
                    <forename type="first">Alasdair</forename>
                    <surname>Newson</surname>
                  </persName>
                  <email type="md5">176b0d45c015a19d1782487ef69ec239</email>
                  <email type="domain">gmail.com</email>
                  <idno type="idhal" notation="numeric">1052788</idno>
                  <idno type="halauthorid" notation="string">719239-1052788</idno>
                  <idno type="ORCID">https://orcid.org/0000-0003-4247-0249</idno>
                  <idno type="IDREF">https://www.idref.fr/264332393</idno>
                  <affiliation ref="#struct-554445"/>
                  <affiliation ref="#struct-554512"/>
                </author>
              </analytic>
              <monogr>
                <imprint>
                  <date type="dateDefended">2023-02-15</date>
                </imprint>
                <authority type="institution">Institut Polytechnique de Paris</authority>
                <authority type="supervisor">Isabelle Bloch</authority>
                <authority type="jury">Isabelle Bloch</authority>
                <authority type="jury">Matthieu Cord</authority>
                <authority type="jury">Agnès Desolneux</authority>
                <authority type="jury">Olivier Lemeur</authority>
                <authority type="jury">Nicolas Papadakis</authority>
                <authority type="jury">Pablo Musé</authority>
              </monogr>
            </biblStruct>
          </sourceDesc>
          <profileDesc>
            <langUsage>
              <language ident="en">English</language>
            </langUsage>
            <textClass>
              <keywords scheme="author">
                <term xml:lang="en">deep learning</term>
                <term xml:lang="en">texture synthesis</term>
                <term xml:lang="en">image analysis</term>
                <term xml:lang="en">image editing</term>
                <term xml:lang="en">Image processing</term>
                <term xml:lang="fr">Traitement de l'image</term>
                <term xml:lang="fr">édition d'image</term>
                <term xml:lang="fr">analyse d'image</term>
                <term xml:lang="fr">synthèse de texture</term>
                <term xml:lang="fr">apprentissage profond</term>
              </keywords>
              <classCode scheme="halDomain" n="info.info-cv">Computer Science [cs]/Computer Vision and Pattern Recognition [cs.CV]</classCode>
              <classCode scheme="halDomain" n="stat.ml">Statistics [stat]/Machine Learning [stat.ML]</classCode>
              <classCode scheme="halTypology" n="HDR">Habilitation à diriger des recherches</classCode>
              <classCode scheme="halOldTypology" n="HDR">Habilitation à diriger des recherches</classCode>
              <classCode scheme="halTreeTypology" n="HDR">Habilitation à diriger des recherches</classCode>
            </textClass>
            <abstract xml:lang="en">
              <p>In this document, I present several mathematical and data-based models for image editing, synthesis and analysis. Firstly, I look at low-rank models used for background/foreground separation in videos. This model separates a video into the sum of a low-rank background and a sparse foreground, via an optimisation problem. I propose two algorithms using this model: firstly, a multi-temporal foreground separation algorithm and secondly a video segmentation method to identify regions where this model applies well. I then present a model to synthesis silver-halide film grain texture in digital images, based on stochastic geometry. This model is physically realistic and is able to synthesise grain at any output resolution, which gives high quality results. I also present an approximation to this model using Gaussian textures, with the goal of speeding up the synthesis algorithm.Finally, I discuss four works concerning deep generative models. The first is a mathematical analysis of how autoencoders, a type of deep learning model, can encode and decode simple geometric shapes. Secondly, I present a feed-forward neural network which edits the age of facial images. I then present an algorithm which uses a pre-trained deep generative model to edit general attributes of facial images. The method learns to navigate in the latent space of the generative model to achieve editing of the desired attribute. Finally, I present a ``PCA-Autoencoder'', which imitates the behaviour of the Principal Component Analysis (PCA) method, via a progressive increase of the latent space size, and a carefully chosen correlation loss function. I show how this can be used to carry out unsupervised editing of attributes in images.</p>
            </abstract>
            <abstract xml:lang="fr">
              <p>Dans ce document, je présente plusieurs modèles mathématiques, dont certains fondés sur des données, pour l'édition, la synthèse et l'analyse d'images. Tout d'abord, j'examine les modèles de rang faible utilisés pour la séparation arrière-plan/avant-plan dans les vidéos. Ce modèle sépare une vidéo en la somme d'un arrière-plan de rang faible et d'un avant-plan parsimonieux, via un problème d'optimisation. Je propose deux algorithmes utilisant ce modèle : premièrement, un algorithme de séparation d'avant-plan multi-temporel et deuxièmement une méthode de segmentation vidéo pour identifier les régions où ce modèle s'applique bien. Je présente ensuite un modèle de synthèse de texture de grain de film argentique dans les images numériques, fondé sur la géométrie stochastique. Ce modèle est physiquement réaliste et est capable de synthétiser le grain à n'importe quelle résolution d'image en sortie, ce qui donne des résultats de haute qualité. Je présente également une approximation de ce modèle à l'aide de textures gaussiennes, dans le but d'accélérer l'algorithme de synthèse. Enfin, je présente quatre travaux concernant les modèles génératifs profonds. Le premier est une analyse mathématique de la façon dont les auto-encodeurs, un type de modèle d'apprentissage profond, peuvent encoder et décoder des formes géométriques simples. Dans un second temps, je présente un réseau de neurones feed-forward qui édite l'âge des images de visages. Je présente ensuite un algorithme qui utilise un modèle génératif profond pré-entraîné pour éditer les attributs généraux des images de visages. Cette approche apprend à naviguer dans l'espace latent du modèle génératif afin de réaliser l'édition de l'attribut souhaité. Enfin, je présente un ``Autoencodeur-ACP'', qui imite le comportement de la méthode d'Analyse en Composantes Principales (ACP), via une augmentation progressive de la taille de l'espace latent, et une fonction de perte de corrélation bien choisie. Je montre comment cela peut être utilisé pour effectuer une édition non-supervisée d'attributs dans les images.</p>
            </abstract>
          </profileDesc>
        </biblFull>
      </listBibl>
    </body>
    <back>
      <listOrg type="structures">
        <org type="researchteam" xml:id="struct-554445" status="VALID">
          <orgName>Image, Modélisation, Analyse, GEométrie, Synthèse</orgName>
          <orgName type="acronym">IMAGES</orgName>
          <date type="start">2019-02-22</date>
          <desc>
            <address>
              <addrLine>Télécom Paris 19 Place Marguerite Perey 91120 Palaiseau</addrLine>
              <country key="FR"/>
            </address>
            <ref type="url">https://www.telecom-paris.fr/fr/recherche/laboratoires/laboratoire-traitement-et-communication-de-linformation-ltci/les-equipes-de-recherche/image-modelisation-analyse-geometrie-synthese-images</ref>
          </desc>
          <listRelation>
            <relation active="#struct-484335" type="direct"/>
            <relation active="#struct-302102" type="indirect"/>
            <relation active="#struct-1048346" type="indirect"/>
            <relation active="#struct-563936" type="indirect"/>
          </listRelation>
        </org>
        <org type="department" xml:id="struct-554512" status="VALID">
          <orgName>Département Images, Données, Signal</orgName>
          <orgName type="acronym">IDS</orgName>
          <date type="start">2017-01-01</date>
          <desc>
            <address>
              <addrLine>46, rue Barrault 75013 Paris ; 15 Place Marguerite Perey 91120 Palaiseau (depuis oct 2019)</addrLine>
              <country key="FR"/>
            </address>
            <ref type="url">https://www.telecom-paris.fr/fr/recherche/laboratoires/laboratoire-traitement-et-communication-de-linformation-ltci/les-departements-denseignement-et-recherche</ref>
          </desc>
          <listRelation>
            <relation active="#struct-300362" type="direct"/>
          </listRelation>
        </org>
        <org type="laboratory" xml:id="struct-484335" status="VALID">
          <idno type="IdRef">162384270</idno>
          <idno type="ISNI">0000 0000 9194 9502</idno>
          <idno type="RNSR">200319327Z</idno>
          <idno type="ROR">https://ror.org/057er4c39</idno>
          <orgName>Laboratoire Traitement et Communication de l'Information</orgName>
          <orgName type="acronym">LTCI</orgName>
          <date type="start">2017-01-01</date>
          <desc>
            <address>
              <addrLine>Télécom Paris 19 Place Marguerite Perey 91120 PALAISEAU</addrLine>
              <country key="FR"/>
            </address>
            <ref type="url">https://www.telecom-paris.fr/fr/recherche/laboratoires/laboratoire-traitement-et-communication-de-linformation-ltci</ref>
          </desc>
          <listRelation>
            <relation active="#struct-302102" type="direct"/>
            <relation active="#struct-1048346" type="direct"/>
            <relation active="#struct-563936" type="indirect"/>
          </listRelation>
        </org>
        <org type="regroupinstitution" xml:id="struct-302102" status="VALID">
          <idno type="IdRef">192427156</idno>
          <idno type="ISNI">000000012202567X</idno>
          <idno type="ROR">https://ror.org/025vp2923</idno>
          <idno type="Wikidata">Q27962533</idno>
          <orgName>Institut Mines-Télécom [Paris]</orgName>
          <orgName type="acronym">IMT</orgName>
          <date type="start">2012-03-01</date>
          <desc>
            <address>
              <addrLine>19 Place Marguerite Perey, 91120 Palaiseau</addrLine>
              <country key="FR"/>
            </address>
            <ref type="url">https://www.imt.fr/</ref>
          </desc>
        </org>
        <org type="institution" xml:id="struct-1048346" status="VALID">
          <idno type="IdRef">026375273</idno>
          <idno type="ISNI">0000 0001 2108 2779</idno>
          <idno type="ROR">https://ror.org/01naq7912</idno>
          <orgName>Télécom Paris</orgName>
          <date type="start">2019-06-12</date>
          <desc>
            <address>
              <addrLine>19 Place Marguerite Perey 91120 Palaiseau</addrLine>
              <country key="FR"/>
            </address>
            <ref type="url">https://www.telecom-paris.fr</ref>
          </desc>
          <listRelation>
            <relation active="#struct-302102" type="direct"/>
            <relation active="#struct-563936" type="direct"/>
          </listRelation>
        </org>
        <org type="regroupinstitution" xml:id="struct-563936" status="VALID">
          <idno type="IdRef">238327159</idno>
          <idno type="ISNI">0000000502717600</idno>
          <idno type="ROR">https://ror.org/042tfbd02</idno>
          <idno type="Wikidata">Q48759778</idno>
          <orgName>Institut Polytechnique de Paris</orgName>
          <orgName type="acronym">IP Paris</orgName>
          <date type="start">2019-06-02</date>
          <desc>
            <address>
              <addrLine>Route de Saclay, 91120 Palaiseau Cedex, France</addrLine>
              <country key="FR"/>
            </address>
            <ref type="url">https://www.ip-paris.fr</ref>
          </desc>
        </org>
        <org type="institution" xml:id="struct-300362" status="VALID">
          <idno type="ROR">https://ror.org/01naq7912</idno>
          <orgName>Télécom ParisTech</orgName>
          <date type="start">2008-01-01</date>
          <date type="end">2019-06-11</date>
          <desc>
            <address>
              <addrLine>46 rue Barrault 75634 Paris Cedex 13</addrLine>
              <country key="FR"/>
            </address>
            <ref type="url">https://www.telecom-paris.fr</ref>
          </desc>
        </org>
      </listOrg>
    </back>
  </text>
</TEI>