<?xml version="1.0" encoding="utf-8"?>
<TEI xmlns="http://www.tei-c.org/ns/1.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:hal="http://hal.archives-ouvertes.fr/" xmlns:gml="http://www.opengis.net/gml/3.3/" xmlns:gmlce="http://www.opengis.net/gml/3.3/ce" version="1.1" xsi:schemaLocation="http://www.tei-c.org/ns/1.0 http://api.archives-ouvertes.fr/documents/aofr-sword.xsd">
  <teiHeader>
    <fileDesc>
      <titleStmt>
        <title>HAL TEI export of tel-04407139v1</title>
      </titleStmt>
      <publicationStmt>
        <distributor>CCSD</distributor>
        <availability status="restricted">
          <licence target="https://creativecommons.org/publicdomain/zero/1.0/">CC0 1.0 - Universal</licence>
        </availability>
        <date when="2026-05-24T22:45:42+02:00"/>
      </publicationStmt>
      <sourceDesc>
        <p part="N">HAL API Platform</p>
      </sourceDesc>
    </fileDesc>
  </teiHeader>
  <text>
    <body>
      <listBibl>
        <biblFull>
          <titleStmt>
            <title xml:lang="en">Towards Securing Machine Learning Algorithms through Misclassification Detection and Adversarial Attack Detection</title>
            <title xml:lang="fr">Vers la Sécurisation des Algorithmes d’Apprentissage Automatique par Misclassification Detection et Adversarial Attack Detection</title>
            <author role="aut">
              <persName>
                <forename type="first">Federica</forename>
                <surname>Granese</surname>
              </persName>
              <email type="md5">d68a2b3d3aef97908dbca2c0b09948ea</email>
              <email type="domain">inria.fr</email>
              <idno type="idhal" notation="string">federica-granese</idno>
              <idno type="idhal" notation="numeric">1087296</idno>
              <idno type="halauthorid" notation="string">1760193-1087296</idno>
              <idno type="GOOGLE SCHOLAR">https://scholar.google.fr/citations?user=P3p6x5kAAAAJ</idno>
              <affiliation ref="#struct-56040"/>
            </author>
            <editor role="depositor">
              <persName>
                <forename>Federica</forename>
                <surname>Granese</surname>
              </persName>
              <email type="md5">d68a2b3d3aef97908dbca2c0b09948ea</email>
              <email type="domain">inria.fr</email>
            </editor>
            <funder ref="#projeurop-712815"/>
          </titleStmt>
          <editionStmt>
            <edition n="v1" type="current">
              <date type="whenSubmitted">2024-01-30 22:19:10</date>
              <date type="whenModified">2025-10-24 17:26:03</date>
              <date type="whenReleased">2024-01-31 17:51:13</date>
              <date type="whenProduced">2023-04-21</date>
              <date type="whenEndEmbargoed">2024-01-30</date>
              <ref type="file" target="https://hal.science/tel-04407139v1/document">
                <date notBefore="2024-01-30"/>
              </ref>
              <ref type="file" subtype="author" n="1" target="https://hal.science/tel-04407139v1/file/tesi_finale_2.pdf" id="file-4427606-3846845">
                <date notBefore="2024-01-30"/>
              </ref>
            </edition>
            <edition n="v2">
              <date type="whenSubmitted">2024-03-14 10:34:07</date>
            </edition>
            <respStmt>
              <resp>contributor</resp>
              <name key="1365935">
                <persName>
                  <forename>Federica</forename>
                  <surname>Granese</surname>
                </persName>
                <email type="md5">d68a2b3d3aef97908dbca2c0b09948ea</email>
                <email type="domain">inria.fr</email>
              </name>
            </respStmt>
          </editionStmt>
          <publicationStmt>
            <distributor>CCSD</distributor>
            <idno type="halId">tel-04407139</idno>
            <idno type="halUri">https://hal.science/tel-04407139</idno>
            <idno type="halBibtex">granese:tel-04407139</idno>
            <idno type="halRefHtml">Computer Science [cs]. Ecole Polytechnique (EDX); Sapienza University of Rome, 2023. English. &lt;a target="_blank" href="https://www.theses.fr/2023IPPAX029"&gt;&amp;#x27E8;NNT : 2023IPPAX029&amp;#x27E9;&lt;/a&gt;</idno>
            <idno type="halRef">Computer Science [cs]. Ecole Polytechnique (EDX); Sapienza University of Rome, 2023. English. &amp;#x27E8;NNT : 2023IPPAX029&amp;#x27E9;</idno>
            <availability status="restricted">
              <licence target="https://about.hal.science/hal-authorisation-v1/">HAL Authorization<ref corresp="#file-4427606-3846845"/></licence>
            </availability>
          </publicationStmt>
          <seriesStmt/>
          <notesStmt/>
          <sourceDesc>
            <biblStruct>
              <analytic>
                <title xml:lang="en">Towards Securing Machine Learning Algorithms through Misclassification Detection and Adversarial Attack Detection</title>
                <title xml:lang="fr">Vers la Sécurisation des Algorithmes d’Apprentissage Automatique par Misclassification Detection et Adversarial Attack Detection</title>
                <author role="aut">
                  <persName>
                    <forename type="first">Federica</forename>
                    <surname>Granese</surname>
                  </persName>
                  <email type="md5">d68a2b3d3aef97908dbca2c0b09948ea</email>
                  <email type="domain">inria.fr</email>
                  <idno type="idhal" notation="string">federica-granese</idno>
                  <idno type="idhal" notation="numeric">1087296</idno>
                  <idno type="halauthorid" notation="string">1760193-1087296</idno>
                  <idno type="GOOGLE SCHOLAR">https://scholar.google.fr/citations?user=P3p6x5kAAAAJ</idno>
                  <affiliation ref="#struct-56040"/>
                </author>
              </analytic>
              <monogr>
                <idno type="nnt">2023IPPAX029</idno>
                <imprint>
                  <date type="dateDefended">2023-04-21</date>
                </imprint>
                <authority type="institution">Ecole Polytechnique (EDX)</authority>
                <authority type="institution">Sapienza University of Rome</authority>
                <authority type="school">ED n°626 : École Doctorale de l’Institut Polytechnique de Paris (EDIPP)</authority>
                <authority type="supervisor">Catuscia Palamidessi</authority>
                <authority type="supervisor">Daniele Gorla</authority>
                <authority type="supervisor">Pablo Piantanida</authority>
                <authority type="jury">Marc Schoenauer</authority>
                <authority type="jury">Emanuele De Cristofaro</authority>
                <authority type="jury">Mario Fritz</authority>
                <authority type="jury">Ismail Ben Ayed</authority>
                <authority type="jury">Elena Marchiori</authority>
                <authority type="jury">Maks Ovsjanikov</authority>
                <authority type="jury">Pablo Piantanida</authority>
              </monogr>
            </biblStruct>
          </sourceDesc>
          <profileDesc>
            <langUsage>
              <language ident="en">English</language>
            </langUsage>
            <textClass>
              <keywords scheme="author">
                <term xml:lang="en">Detection</term>
                <term xml:lang="en">Adversarial Examples</term>
                <term xml:lang="en">Misclassification</term>
                <term xml:lang="en">Binary Hypothesis Testing</term>
                <term xml:lang="en">Trustworthy AI</term>
                <term xml:lang="fr">Trustworthy AI</term>
                <term xml:lang="fr">Binary Hypothesis Testing</term>
                <term xml:lang="fr">Détection</term>
                <term xml:lang="fr">Misclassification</term>
                <term xml:lang="fr">Adversarial Examples</term>
              </keywords>
              <classCode scheme="halDomain" n="info">Computer Science [cs]</classCode>
              <classCode scheme="halTypology" n="THESE">Theses</classCode>
              <classCode scheme="halOldTypology" n="THESE">Theses</classCode>
              <classCode scheme="halTreeTypology" n="THESE">Theses</classCode>
            </textClass>
            <abstract xml:lang="en">
              <p>Deep Neural Networks (DNNs) have seen significant advances in recent years and are widely used in various applications. When it comes to safety-critical systems, developing methods and tools to make these algorithms reliable, particularly for non-specialists who may treat them as “black boxes” with no further checks, constitutes a core challenge. This thesis aims to investigate various methods that can enable the safe use of these technologies. In the first part, we tackle the problem of identifying whether the prediction of a DNN classifier should (or should not) be trusted so that, consequently, it would be possible to accept or reject it. In this regard, we propose a new detector that approximates the most powerful (Oracle) discriminator based on the probability of classification error with respect to the true class posterior probability. Two scenarios are investigated: Totally Black Box (TBB), where only the soft predictions are available, and Partially Black Box (PBB), where gradient-propagation to perform input pre-processing is allowed. The proposed detector can be applied to any pre-trained model. It does not require prior information about the underlying dataset and is as simple as the simplest available methods in the literature. In the second part, we address the problem of multi-armed adversarial attack detection. The detection methods are generally validated by assuming a single implicitly known attack strategy, which does not necessarily account for real-life threats. Indeed, this can lead to an overoptimistic assessment of the detectors’ performance and may induce some bias in comparing competing detection schemes. To overcome this limitation, we propose a novel multi-armed framework for evaluating detectors based on several attack strategies. Among them, we make use of three new objectives to generate attacks. The proposed performance metric is based on the worst-case scenario: detection is successful if and only if all different attacks are correctly recognized.Moreover, following this setting, we formally derive a simple yet effective method to aggregate the decisions of multiple trained detectors, possibly provided by a third party. While every single detector tends to underperform or fail at detecting types of attack that it has never seen at training time, our framework successfully aggregates the knowledge of the available detectors to guarantee a robust detection algorithm. The proposed method has many advantages: it is simple as it does not require further training of the given detectors; it is modular, allowing existing (and future) methods to be merged into a single one; it is general since it can simultaneously recognize adversarial examples created according to different algorithms and training (loss) objectives.</p>
            </abstract>
            <abstract xml:lang="fr">
              <p>Les réseaux de neurones profonds ont connu des progressions significatives ces dernières années et sont aujourd’hui largement utilisés dans une variété d’applications. Lorsqu’il s’agit de systèmes critiques pour la sécurité, le développement de méthodes et d’outils pour rendre ces algorithmes fiables constitue un défi central, en particulier pour les non-spécialistes qui peuvent les traiter comme des "boîtes noires" sans autre vérification.  L’objectif de cette thèse est d’étudier différentes méthodes qui peuvent permettre l’utilisation sécuritaire de ces technologies.D’abord, nous devons identifier si la prédiction d’un classificateur devrait (ou ne devrait pas) être fiable afin que il soit possible de l’accepter ou de la rejeter. A cet égard, nous proposons un nouveau détecteur qui approxime le discriminateur le plus puissant (Oracle) basé sur la probabilité d’erreur de classification calculée par rapport à la vraie probabilité postérieure du classificateur. Deux scénarios sont étudiés : Totally Black Box (TBB), où seules les soft-predictions sont disponibles et Partially Black Box (PBB) où la propagation du gradient est autorisée pour effectuer le input pre-processing. Le détecteur proposé peut être appliqué à n’importe quel modèle pre-trained, il ne nécessite pas d’informations préalables sur le dataset et est aussi simple que les méthodes les plus basiques disponibles dans la littérature.Nous poursuivons en abordant le problème de multi-armed adversarial example detection. Les méthodes de détection sont généralement validées en supposant une seule stratégie d’attaque implicitement connue, ce qui ne réalise pas nécessairement des menaces réelles. En effet, cela peut conduire à une évaluation trop optimiste des performances des détecteurs et peut induire un certain biais dans la comparaison des schémas de détection concurrents. Nous proposons un nouveau framework multi-armed pour évaluer les détecteurs sur la base de plusieurs stratégies d’attaques afin de surmonter cette limitation. Parmi celles-ci, nous utilisons trois nouvelles fonctions objectifs pour générer des attaques. La mesure de performance proposée est basée sur le scénario du worst case : la détection est réussie si et seulement si toutes les différentes attaques sont correctement reconnues. De plus, en suivant ce framework nous dérivons formellement une méthode simple mais efficace pour agréger les décisions de plusieurs détecteurs entraînés éventuellement fournis par une tierce partie. Alors que chaque détecteur a tendance à sous-performer ou à échouer dans la détection de types d’attaques qu’il n’a jamais vus au moment de l’entraînement, notre framework permet d’agréger avec succès les connaissances des détecteurs disponibles pour garantir un algorithme de détection robuste. La méthode proposée présente de nombreux avantages : elle est simple car elle ne nécessite pas d’entraînement supplémentaire des détecteurs donnés ; elle est modulaire, permettant aux méthodes existantes (et futures) d’être fusionnées en une seule ; elle est générale car elle peut reconnaître simultanément des exemples adverses créés selon différents algorithmes et objectifs d’entraînement.</p>
            </abstract>
          </profileDesc>
        </biblFull>
      </listBibl>
    </body>
    <back>
      <listOrg type="structures">
        <org type="researchteam" xml:id="struct-56040" status="VALID">
          <idno type="RNSR">200818369L</idno>
          <idno type="ROR">https://ror.org/007h9pt55</idno>
          <orgName>Concurrency, Mobility and Transactions</orgName>
          <orgName type="acronym">COMETE</orgName>
          <date type="start">2008-01-01</date>
          <date type="end">2028-12-31</date>
          <desc>
            <address>
              <addrLine>Bât Alan Turing, Campus de l'Ecole Polytechnique, 1 rue Honoré d'Estienne d'orves, 91120 Palaiseau (France)</addrLine>
              <country key="FR"/>
            </address>
            <ref type="url">http://www.inria.fr/equipes/comete</ref>
          </desc>
          <listRelation>
            <relation active="#struct-2071" type="direct"/>
            <relation active="#struct-300340" type="indirect"/>
            <relation active="#struct-563936" type="indirect"/>
            <relation name="UMR7161" active="#struct-441569" type="indirect"/>
            <relation active="#struct-1225635" type="direct"/>
            <relation active="#struct-118511" type="indirect"/>
            <relation active="#struct-300009" type="indirect"/>
          </listRelation>
        </org>
        <org type="laboratory" xml:id="struct-2071" status="VALID">
          <idno type="IdRef">196509955</idno>
          <idno type="ISNI">0000000403673665</idno>
          <idno type="RNSR">200519331V</idno>
          <idno type="ROR">https://ror.org/04afed728</idno>
          <idno type="Wikidata">Q16009025</idno>
          <orgName>Laboratoire d'informatique de l'École polytechnique [Palaiseau]</orgName>
          <orgName type="acronym">LIX</orgName>
          <date type="start">2005-01-01</date>
          <desc>
            <address>
              <addrLine>1 Rue Honoré d’Estienne d’Orves, Bâtiment Alain Turing, 91120 Palaiseau</addrLine>
              <country key="FR"/>
            </address>
            <ref type="url">https://www.lix.polytechnique.fr/</ref>
          </desc>
          <listRelation>
            <relation active="#struct-300340" type="direct"/>
            <relation active="#struct-563936" type="indirect"/>
            <relation name="UMR7161" active="#struct-441569" type="direct"/>
          </listRelation>
        </org>
        <org type="institution" xml:id="struct-300340" status="VALID">
          <idno type="IdRef">027309320</idno>
          <idno type="ISNI">0000000121581279</idno>
          <idno type="ROR">https://ror.org/05hy3tk52</idno>
          <idno type="Wikidata">Q273626</idno>
          <orgName>École polytechnique</orgName>
          <orgName type="acronym">X</orgName>
          <date type="start">1794-03-11</date>
          <desc>
            <address>
              <addrLine>Route de Saclay, 91128 Palaiseau Cedex</addrLine>
              <country key="FR"/>
            </address>
            <ref type="url">https://www.polytechnique.edu/</ref>
          </desc>
          <listRelation>
            <relation active="#struct-563936" type="direct"/>
          </listRelation>
        </org>
        <org type="regroupinstitution" xml:id="struct-563936" status="VALID">
          <idno type="IdRef">238327159</idno>
          <idno type="ISNI">0000000502717600</idno>
          <idno type="ROR">https://ror.org/042tfbd02</idno>
          <idno type="Wikidata">Q48759778</idno>
          <orgName>Institut Polytechnique de Paris</orgName>
          <orgName type="acronym">IP Paris</orgName>
          <date type="start">2019-06-02</date>
          <desc>
            <address>
              <addrLine>Route de Saclay, 91120 Palaiseau Cedex, France</addrLine>
              <country key="FR"/>
            </address>
            <ref type="url">https://www.ip-paris.fr</ref>
          </desc>
        </org>
        <org type="regroupinstitution" xml:id="struct-441569" status="VALID">
          <idno type="IdRef">02636817X</idno>
          <idno type="ISNI">0000000122597504</idno>
          <idno type="ROR">https://ror.org/02feahw73</idno>
          <orgName>Centre National de la Recherche Scientifique</orgName>
          <orgName type="acronym">CNRS</orgName>
          <date type="start">1939-10-19</date>
          <desc>
            <address>
              <country key="FR"/>
            </address>
            <ref type="url">https://www.cnrs.fr/</ref>
          </desc>
        </org>
        <org type="department" xml:id="struct-1225635" status="VALID">
          <idno type="ROR">https://ror.org/026839t73</idno>
          <orgName>Centre Inria de l'Institut Polytechnique de Paris</orgName>
          <date type="start">2022-11-01</date>
          <desc>
            <address>
              <addrLine>1 rue Honoré d'Estienne d'Orves –Bâtiment Alan Turing –Campus de l'École Polytechnique –91120 Palaiseau</addrLine>
              <country key="FR"/>
            </address>
          </desc>
          <listRelation>
            <relation active="#struct-118511" type="direct"/>
            <relation active="#struct-300009" type="indirect"/>
          </listRelation>
        </org>
        <org type="laboratory" xml:id="struct-118511" status="VALID">
          <idno type="RNSR">200818248E</idno>
          <idno type="ROR">https://ror.org/0315e5x55</idno>
          <orgName>Centre Inria de Saclay</orgName>
          <desc>
            <address>
              <addrLine>1 rue Honoré d'Estienne d'OrvesBâtiment Alan TuringCampus de l'École Polytechnique91120 Palaiseau</addrLine>
              <country key="FR"/>
            </address>
            <ref type="url">http://www.inria.fr/centre/saclay</ref>
          </desc>
          <listRelation>
            <relation active="#struct-300009" type="direct"/>
          </listRelation>
        </org>
        <org type="institution" xml:id="struct-300009" status="VALID">
          <idno type="ROR">https://ror.org/02kvxyf05</idno>
          <orgName>Institut National de Recherche en Informatique et en Automatique</orgName>
          <orgName type="acronym">Inria</orgName>
          <desc>
            <address>
              <addrLine>Domaine de VoluceauRocquencourt - BP 10578153 Le Chesnay Cedex</addrLine>
              <country key="FR"/>
            </address>
            <ref type="url">http://www.inria.fr/en/</ref>
          </desc>
        </org>
      </listOrg>
      <listOrg type="projects">
        <org type="europeanProject" xml:id="projeurop-712815" status="VALID">
          <idno type="number">835294</idno>
          <idno type="program">ERC-2018-ADG</idno>
          <idno type="call">ERC-2018-ADG</idno>
          <orgName>HYPATIA</orgName>
          <desc>Privacy and Utility Allied</desc>
          <date type="start">2019-10-01</date>
          <date type="end">2024-09-30</date>
        </org>
      </listOrg>
    </back>
  </text>
</TEI>