<?xml version="1.0" encoding="utf-8"?>
<TEI xmlns="http://www.tei-c.org/ns/1.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:hal="http://hal.archives-ouvertes.fr/" xmlns:gml="http://www.opengis.net/gml/3.3/" xmlns:gmlce="http://www.opengis.net/gml/3.3/ce" version="1.1" xsi:schemaLocation="http://www.tei-c.org/ns/1.0 http://api.archives-ouvertes.fr/documents/aofr-sword.xsd">
  <teiHeader>
    <fileDesc>
      <titleStmt>
        <title>HAL TEI export of tel-04907994v2</title>
      </titleStmt>
      <publicationStmt>
        <distributor>CCSD</distributor>
        <availability status="restricted">
          <licence target="https://creativecommons.org/publicdomain/zero/1.0/">CC0 1.0 - Universal</licence>
        </availability>
        <date when="2026-05-25T21:55:01+02:00"/>
      </publicationStmt>
      <sourceDesc>
        <p part="N">HAL API Platform</p>
      </sourceDesc>
    </fileDesc>
  </teiHeader>
  <text>
    <body>
      <listBibl>
        <biblFull>
          <titleStmt>
            <title xml:lang="en">Differential Privacy for Decentralized Learning</title>
            <title xml:lang="fr">Confidentialité différentielle pour l'apprentissage décentralisé</title>
            <author role="aut">
              <persName>
                <forename type="first">Edwige</forename>
                <surname>Cyffers</surname>
              </persName>
              <email type="md5">897206a7550bc0a5b2d9cb489d32f5d2</email>
              <email type="domain">inria.fr</email>
              <idno type="idhal" notation="string">edwige-cyffers</idno>
              <idno type="idhal" notation="numeric">1208485</idno>
              <idno type="halauthorid" notation="string">2124001-1208485</idno>
              <idno type="ORCID">https://orcid.org/0009-0006-2823-6850</idno>
              <affiliation ref="#struct-432650"/>
              <affiliation ref="#struct-374570"/>
            </author>
            <editor role="depositor">
              <persName>
                <forename>ABES</forename>
                <surname>STAR</surname>
              </persName>
              <email type="md5">f5aa7f563b02bb6adbba7496989af39a</email>
              <email type="domain">abes.fr</email>
            </editor>
            <funder ref="#projanr-51237"/>
          </titleStmt>
          <editionStmt>
            <edition n="v1">
              <date type="whenSubmitted">2025-01-23 11:39:52</date>
            </edition>
            <edition n="v2" type="current">
              <date type="whenSubmitted">2025-03-20 14:25:06</date>
              <date type="whenModified">2026-04-09 02:20:45</date>
              <date type="whenReleased">2025-03-20 14:25:07</date>
              <date type="whenProduced">2024-12-05</date>
              <date type="whenEndEmbargoed">2025-03-20</date>
              <ref type="file" target="https://hal.science/tel-04907994v2/document">
                <date notBefore="2025-03-20"/>
              </ref>
              <ref type="file" subtype="author" n="1" target="https://hal.science/tel-04907994v2/file/These_CYFFERS_Edwige.pdf" id="file-4998765-4331878">
                <date notBefore="2025-03-20"/>
              </ref>
            </edition>
            <respStmt>
              <resp>contributor</resp>
              <name key="131274">
                <persName>
                  <forename>ABES</forename>
                  <surname>STAR</surname>
                </persName>
                <email type="md5">f5aa7f563b02bb6adbba7496989af39a</email>
                <email type="domain">abes.fr</email>
              </name>
            </respStmt>
          </editionStmt>
          <publicationStmt>
            <distributor>CCSD</distributor>
            <idno type="halId">tel-04907994</idno>
            <idno type="halUri">https://hal.science/tel-04907994</idno>
            <idno type="halBibtex">cyffers:tel-04907994</idno>
            <idno type="halRefHtml">Machine Learning [cs.LG]. Université de Lille, 2024. English. &lt;a target="_blank" href="https://www.theses.fr/2024ULILB041"&gt;&amp;#x27E8;NNT : 2024ULILB041&amp;#x27E9;&lt;/a&gt;</idno>
            <idno type="halRef">Machine Learning [cs.LG]. Université de Lille, 2024. English. &amp;#x27E8;NNT : 2024ULILB041&amp;#x27E9;</idno>
            <availability status="restricted">
              <licence target="https://about.hal.science/hal-authorisation-v1/">HAL Authorization<ref corresp="#file-4998765-4331878"/></licence>
            </availability>
          </publicationStmt>
          <seriesStmt>
            <idno type="stamp" n="CNRS">CNRS - Centre national de la recherche scientifique</idno>
            <idno type="stamp" n="INRIA">INRIA - Institut National de Recherche en Informatique et en Automatique</idno>
            <idno type="stamp" n="INRIA-LILLE">INRIA Lille - Nord Europe</idno>
            <idno type="stamp" n="STAR">STAR - Dépôt national des thèses électroniques</idno>
            <idno type="stamp" n="INRIA_TEST">INRIA - Institut National de Recherche en Informatique et en Automatique</idno>
            <idno type="stamp" n="TESTALAIN1">TESTALAIN1</idno>
            <idno type="stamp" n="CRISTAL">Centre de Recherche en Informatique, Signal et Automatique de Lille (CRISTAL)</idno>
            <idno type="stamp" n="INRIA2">INRIA 2</idno>
            <idno type="stamp" n="CRISTAL-MAGNET" corresp="CRISTAL">CRISTAL-MAGNET</idno>
            <idno type="stamp" n="UNIV-LILLE">Université de Lille</idno>
            <idno type="stamp" n="ANR">ANR</idno>
            <idno type="stamp" n="ANR-IA-20" corresp="ANR-IA">ANR-IA-20</idno>
            <idno type="stamp" n="ANR-IA">ANR-IA</idno>
          </seriesStmt>
          <notesStmt/>
          <sourceDesc>
            <biblStruct>
              <analytic>
                <title xml:lang="en">Differential Privacy for Decentralized Learning</title>
                <title xml:lang="fr">Confidentialité différentielle pour l'apprentissage décentralisé</title>
                <author role="aut">
                  <persName>
                    <forename type="first">Edwige</forename>
                    <surname>Cyffers</surname>
                  </persName>
                  <email type="md5">897206a7550bc0a5b2d9cb489d32f5d2</email>
                  <email type="domain">inria.fr</email>
                  <idno type="idhal" notation="string">edwige-cyffers</idno>
                  <idno type="idhal" notation="numeric">1208485</idno>
                  <idno type="halauthorid" notation="string">2124001-1208485</idno>
                  <idno type="ORCID">https://orcid.org/0009-0006-2823-6850</idno>
                  <affiliation ref="#struct-432650"/>
                  <affiliation ref="#struct-374570"/>
                </author>
              </analytic>
              <monogr>
                <idno type="nnt">2024ULILB041</idno>
                <imprint>
                  <date type="dateDefended">2024-12-05</date>
                </imprint>
                <authority type="institution">Université de Lille</authority>
                <authority type="school">École graduée Mathématiques, sciences du numérique et de leurs interactions (Lille ; 2021-....)</authority>
                <authority type="supervisor">Aurélien Bellet</authority>
                <authority type="jury">Pierre Senellart [Président]</authority>
                <authority type="jury">Virginia Smith [Rapporteur]</authority>
                <authority type="jury">Antti Honkela [Rapporteur]</authority>
                <authority type="jury">Rachel Cummings</authority>
                <authority type="jury">Hadrien Hendrikx</authority>
              </monogr>
            </biblStruct>
          </sourceDesc>
          <profileDesc>
            <langUsage>
              <language ident="en">English</language>
            </langUsage>
            <textClass>
              <keywords scheme="author">
                <term xml:lang="en">Federated Learning</term>
                <term xml:lang="en">Graph</term>
                <term xml:lang="en">Privacy</term>
                <term xml:lang="en">Optimization</term>
                <term xml:lang="en">Decentralized Learning</term>
                <term xml:lang="en">Differential privacy</term>
                <term xml:lang="fr">Apprentissage fédéré</term>
                <term xml:lang="fr">Graphe</term>
                <term xml:lang="fr">Vie privée</term>
                <term xml:lang="fr">Optimisation</term>
                <term xml:lang="fr">Apprentissage décentralisé</term>
                <term xml:lang="fr">Confidentialité Differentielle</term>
              </keywords>
              <classCode scheme="halDomain" n="info.info-lg">Computer Science [cs]/Machine Learning [cs.LG]</classCode>
              <classCode scheme="halDomain" n="info">Computer Science [cs]</classCode>
              <classCode scheme="halDomain" n="info.info-ai">Computer Science [cs]/Artificial Intelligence [cs.AI]</classCode>
              <classCode scheme="halDomain" n="info.info-dc">Computer Science [cs]/Distributed, Parallel, and Cluster Computing [cs.DC]</classCode>
              <classCode scheme="halTypology" n="THESE">Theses</classCode>
              <classCode scheme="halOldTypology" n="THESE">Theses</classCode>
              <classCode scheme="halTreeTypology" n="THESE">Theses</classCode>
            </textClass>
            <abstract xml:lang="en">
              <p>The collapse of storage and data processing costs, along with the rise of digitization, has brought new applications and possibilities to machine learning. In practice, Big data is often synonymous with sensitive data collection. Hence, protecting privacy— especially by avoiding data leakage, intentional or accidental —is one of the key challenges in Trustworthy Machine Learning. A first direction towards more control over data is to keep it decentralized, exchanging only the information needed to run the learning process. This can be achieved through a central server orchestrating the learning process in federated learning or through peer-to-peer communications. However, this does not guarantee that data is protected throughout the entire process, as federated learning is known to be vulnerable to privacy attacks. To reliably quantify and control the privacy loss occurring in machine learning algorithms, Differential Privacy is currently the gold standard both in research and industry for machine learning applications.This thesis lies at the intersection of machine learning, decentralized algorithms and differential privacy. We present the first reconstruction attack in decentralized learning, targeting privacy leaks among participants not directly connected, proving the need to include defense mechanisms in this setting. We then introduce a new variant of differential privacy, Network Differential Privacy, which is suited for decentralized learning where each node only sees local communications. Using this variant, we analyze the privacy and utility guarantees of various decentralized algorithms, namely gossip algorithms and random walks for stochastic gradient descent, and ADMM. Our contributions demonstrate that decentralization can bring privacy amplification in the sense of differential privacy, and that the gains depend on the algorithm and the communication graph. This paves the way for the use of decentralization as a tool to develop more effective privacy-preserving machine learning.</p>
            </abstract>
            <abstract xml:lang="fr">
              <p>L'effondrement des coûts de stockage et de traitement des données, conjugué à l'essor de la numérisation, a permis de nouvelles applications et possibilités pour l'apprentissage automatique. En pratique, les Big Data vont souvent de pair avec la collecte de données sensibles. Ainsi, la protection de la vie privée, notamment la prévention des fuites de données intentionnelles ou accidentelles, est l'un des principaux défis de l'intelligence artificielle digne de confiance. Une première approche pour une meilleure maitrise des données consiste à les conserver de manière décentralisée, en ne partageant que les informations nécessaires pour le processus d'apprentissage. Cela peut être réalisé soit via un serveur central orchestrant le processus dans l'apprentissage fédéré, soit à travers des communications pair-à-pair. Cependant, cela ne garantit pas que les données sont protégées tout au long du processus, l'apprentissage fédéré étant connu pour être vulnérable aux attaques de reconstruction, qui permettent de reconstruire partiellement ou totalement les données en exploitant le modèle, sans avoir directement accès aux données locales elles-mêmes. Pour quantifier et contrôler de manière fiable la perte de confidentialité, la confidentialité différentielle est actuellement la référence dans la recherche et l'industrie pour les applications d'apprentissage automatique.Dans cette thèse, nous nous situons à l'intersection entre l'apprentissage automatique, les algorithmes décentralisés et la confidentialité différentielle. Nous introduisons la première attaque de reconstruction en apprentissage décentralisé, prouvant la capacité d'exploiter les fuites de confidentialité entre participants non directement connectés entre eux, ce qui prouve la nécessité d'inclure des mécanismes de défense dans l'apprentissage décentralisé. Nous introduisons ensuite une nouvelle variante de la confidentialité différentielle, la Network Differential Privacy, adaptée à l'apprentissage décentralisé où chaque noeud ne voit que les communications locales. À l'aide de cette variante, nous analysons les garanties de confidentialité et d'utilité de divers algorithmes décentralisés, notamment les algorithmes de gossip et les marches aléatoires pour la descente de gradient stochastique et l'ADMM. Nos contributions démontrent que la décentralisation peut amplifier la confidentialité dans le cadre de la confidentialité différentielle, et que les gains dépendent de l'algorithme et du graphe de communication. Cela ouvre la voie à l'utilisation de la décentralisation comme outil pour développer des méthodes d'apprentissage automatique protégeant mieux la vie privée.</p>
            </abstract>
          </profileDesc>
        </biblFull>
      </listBibl>
    </body>
    <back>
      <listOrg type="structures">
        <org type="researchteam" xml:id="struct-432650" status="VALID">
          <idno type="RNSR">201321079K</idno>
          <idno type="ROR">https://ror.org/01jc9hv70</idno>
          <orgName>Machine Learning in Information Networks</orgName>
          <orgName type="acronym">MAGNET</orgName>
          <date type="start">2015-01-01</date>
          <date type="end">2027-06-30</date>
          <desc>
            <address>
              <country key="FR"/>
            </address>
            <ref type="url">http://www.inria.fr/equipes/magnet</ref>
          </desc>
          <listRelation>
            <relation active="#struct-104752" type="direct"/>
            <relation active="#struct-300009" type="indirect"/>
            <relation active="#struct-410272" type="direct"/>
            <relation name="UMR9189" active="#struct-120930" type="indirect"/>
            <relation name="UMR9189" active="#struct-374570" type="indirect"/>
            <relation name="UMR9189" active="#struct-441569" type="indirect"/>
          </listRelation>
        </org>
        <org type="regroupinstitution" xml:id="struct-374570" status="VALID">
          <idno type="IdRef">223446556</idno>
          <idno type="ISNI">0000 0001 2242 6780</idno>
          <idno type="ROR">https://ror.org/02kzqn938</idno>
          <idno type="Wikidata">Q3551621</idno>
          <orgName>Université de Lille</orgName>
          <desc>
            <address>
              <addrLine>EPE Université de Lille. -- 42 rue Paul Duez, 59000 Lille</addrLine>
              <country key="FR"/>
            </address>
            <ref type="url">https://www.univ-lille.fr/</ref>
          </desc>
        </org>
        <org type="laboratory" xml:id="struct-104752" status="VALID">
          <idno type="RNSR">200818245B</idno>
          <idno type="ROR">https://ror.org/04eej9726</idno>
          <orgName>Centre Inria de l'Université de Lille</orgName>
          <desc>
            <address>
              <addrLine>Parc Scientifique de la Haute Borne 40, avenue Halley Bât.A, Park Plaza 59650 Villeneuve d'Ascq</addrLine>
              <country key="FR"/>
            </address>
            <ref type="url">http://www.inria.fr/lille/</ref>
          </desc>
          <listRelation>
            <relation active="#struct-300009" type="direct"/>
          </listRelation>
        </org>
        <org type="institution" xml:id="struct-300009" status="VALID">
          <idno type="ROR">https://ror.org/02kvxyf05</idno>
          <orgName>Institut National de Recherche en Informatique et en Automatique</orgName>
          <orgName type="acronym">Inria</orgName>
          <desc>
            <address>
              <addrLine>Domaine de VoluceauRocquencourt - BP 10578153 Le Chesnay Cedex</addrLine>
              <country key="FR"/>
            </address>
            <ref type="url">http://www.inria.fr/en/</ref>
          </desc>
        </org>
        <org type="laboratory" xml:id="struct-410272" status="VALID">
          <idno type="IdRef">18388695X</idno>
          <idno type="RNSR">201521249L</idno>
          <idno type="ROR">https://ror.org/05vrs3189</idno>
          <idno type="Wikidata">Q116959497</idno>
          <orgName>Centre de Recherche en Informatique, Signal et Automatique de Lille - UMR 9189</orgName>
          <orgName type="acronym">CRIStAL</orgName>
          <date type="start">2015-01-01</date>
          <desc>
            <address>
              <addrLine>Université de Lille - Campus scientifique - Bâtiment ESPRIT - Avenue Henri Poincaré - 59655 Villeneuve d’Ascq</addrLine>
              <country key="FR"/>
            </address>
            <ref type="url">https://www.cristal.univ-lille.fr/</ref>
          </desc>
          <listRelation>
            <relation name="UMR9189" active="#struct-120930" type="direct"/>
            <relation name="UMR9189" active="#struct-374570" type="direct"/>
            <relation name="UMR9189" active="#struct-441569" type="direct"/>
          </listRelation>
        </org>
        <org type="institution" xml:id="struct-120930" status="VALID">
          <idno type="IdRef">256304629</idno>
          <idno type="ISNI">0000000122034461</idno>
          <idno type="ROR">https://ror.org/01x441g73</idno>
          <orgName>Centrale Lille</orgName>
          <desc>
            <address>
              <addrLine>École Centrale de Lille - Cité Scientifique - CS 20048 59651 Villeneuve d'Ascq Cedex</addrLine>
              <country key="FR"/>
            </address>
            <ref type="url">https://centralelille.fr/</ref>
          </desc>
        </org>
        <org type="regroupinstitution" xml:id="struct-441569" status="VALID">
          <idno type="IdRef">02636817X</idno>
          <idno type="ISNI">0000000122597504</idno>
          <idno type="ROR">https://ror.org/02feahw73</idno>
          <orgName>Centre National de la Recherche Scientifique</orgName>
          <orgName type="acronym">CNRS</orgName>
          <date type="start">1939-10-19</date>
          <desc>
            <address>
              <country key="FR"/>
            </address>
            <ref type="url">https://www.cnrs.fr/</ref>
          </desc>
        </org>
      </listOrg>
      <listOrg type="projects">
        <org type="anrProject" xml:id="projanr-51237" status="VALID">
          <idno type="anr">ANR-20-THIA-0014</idno>
          <orgName>AI_PhD@Lille</orgName>
          <desc>Programme de formation doctorale en IA à Lille</desc>
          <date type="start">2020</date>
        </org>
      </listOrg>
    </back>
  </text>
</TEI>