On the impact of randomization on robustness in machine learning - Archive ouverte HAL Accéder directement au contenu
Thèse Année : 2020

On the impact of randomization on robustness in machine learning

Impact de la randomisation sur la robustesse des modèles d'apprentissage supervisé

Résumé

This thesis investigates the theory of robust classification under adversarial perturbations (a.k.a. adversarial attacks). An adversarial attack refers to a small (humanly imperceptible) change of an input specifically designed to fool a machine learning model. The vulnerability of state-of-the-art classifiers to these attacks has genuine security implications especially for deep neural networks used in AI-driven technologies (e.g. for self-driving cars). Besides security issues, this shows how little we know about the worst-case behaviors of models the industry uses daily. Accordingly, it became increasingly important for the machine learning community to understand the nature of this failure mode to mitigate the attacks. One can always build trivial classifiers that will not change decision under adversarial manipulation (e.g. constant classifiers) but this comes at odds with standard accuracy of the model. This raises several questions. Among them, we tackle the following one: Can we build a class of models that ensure both robustness to adversarial attacks and accuracy? We first provide some intuition on the adversarial classification problem by adopting a game theoretical point of view. We present the problem as an infinite zero-sum game where classical results (e.g. Nash or Sion theorems) do not apply. We then demonstrate the non-existence of a Nash equilibrium in this game when the classifier and the adversary both use deterministic strategies. This constitutes a negative answer to the above question in the deterministic regime. Nonetheless, the question remains open in the randomized regime. We tackle this problem by showing that randomized classifiers outperform deterministic ones in term robustness against realistic adversaries. This gives a clear argument for further studying randomized strategies as a defense against adversarial example attacks. Consequently, we present an analysis of randomized classifiers (i.e. classifiers that output random variables) through the lens of statistical learning theory. To do so, we first define a new notion of robustness for randomized classifiers using probability metrics. This definition boils down to forcing the classifier to be locally Lipschitz. We then devise bounds on the generalization gap of any randomized classifier that respects this new notion of robustness. Finally, we upper-bound the adversarial gap (i.e. the gap between the risk and the worst-case risk under attack) of these randomized classifiers. Finally, we highlight some links between our line of research and another emerging topic in machine learning called differential privacy. Both notions build upon the same theoretical ground (i.e. stability of probability metrics). Therefore, results from one domain can be transferred to the other. Based on this idea, we use the differential privacy literature to design a simple noise injection method. The scheme allows us to build a class of robust randomized classifiers out of a deterministic hypothesis class, making our previous findings applicable to a wide range of machine learning models. Open questions and perspectives for future research conclude this work.
Cette thèse étudie la théorie de la classification robuste aux attaques adverses. Une attaque adverse est une modification imperceptible de l’entrée d’un algorithme, spécifiquement conçue pour provoquer un dysfonctionnement de celui-ci. La vulnérabilité des modèles d’intelligence artificielle à ces attaques pose de véritables problèmes en matière de sécurité, notamment en ce qui concerne les réseaux neuronaux profonds utilisés dans les nouvelles technologies, par exemple pour les voitures autonomes. Outre les questions de sécurité, cela montre à quel point nous en savons peu sur le comportement des modèles que l’industrie utilise quotidiennement. Par conséquent, il devient de plus en plus important pour la communauté scientifique de comprendre d’où proviennent ces défaillances. Parmi les nombreuses questions que soulèvent les attaques adverses, nous abordons la suivante : Pouvons-nous construire une classe de modèles qui garantissent à la fois la robustesse aux attaques adverses et la précision dans des taches classiques? Nous donnons d’abord quelques intuitions en abordant le problème sous l’angle de la théorie des jeux. Nous formalisons la classification robuste comme un jeu à somme nulle infini et démontrons la non-existence d’un équilibre de Nash dans ce jeu lorsque le modèle et l’adversaire utilisent tous les deux des stratégies déterministes. Ceci constitue une réponse négative à la question ci- dessus dans le cas déterministe. Néanmoins, la question reste ouverte si l’on prend en compte des stratégies aléatoires. Nous abordons ensuite ce problème en montrant que les modèles aléatoires, c’est-à-dire des modèles qui produisent des variables aléatoires, obtiennent de meilleurs résultats que les modèles déterministes en termes de robustesse aux attaques. Cela donne un argument fort en faveur des stratégies aléatoires. Par conséquent, nous présentons une analyse approfondie des modèles aléatoires. Pour ce faire, nous définissons une nouvelle notion de robustesse à l’aide de métriques/divergences sur les espaces des distributions de probabilité. Ensuite, nous étudions le comportement en terme d’erreur de généralisation de tout modèle aléatoire qui respecte cette nouvelle notion de robustesse. Enfin, nous adaptons notre analyse à la généralisation adverse, c’est-à-dire l’écart entre le risque théorique et le risque adverse de ces modèles. Enfin, nous mettons en évidence certains liens entre notre champ de recherche et un autre sujet émergent dans le domaine de l’apprentissage automatique, à savoir la protection des données personnelles. Ces deux notions reposent sur le même fondement théorique. Par conséquent, les résultats d’un domaine peuvent être transférés dans l’autre. Sur la base de ce constat, nous utilisons la littérature sur la protection des données personnelles pour concevoir une méthode simple d’injection de bruit. Cette méthode nous permet de construire une classe de modèles aléatoires robustes à partir d’une classe de modèles (déterministes) précis dans des tâches classiques. Nous concluons se manuscrit par des questions ouvertes et des perspectives de recherche.
Fichier principal
Vignette du fichier
PhD_Dissertation-Rafael-PINOT.pdf (9.32 Mo) Télécharger le fichier
Origine : Fichiers produits par l'(les) auteur(s)

Dates et versions

tel-03121555 , version 1 (26-01-2021)
tel-03121555 , version 2 (08-01-2022)

Identifiants

  • HAL Id : tel-03121555 , version 1

Citer

Rafael Pinot. On the impact of randomization on robustness in machine learning. Machine Learning [stat.ML]. Université Paris-Dauphine, PSL, 2020. English. ⟨NNT : ⟩. ⟨tel-03121555v1⟩
319 Consultations
145 Téléchargements

Partager

Gmail Facebook X LinkedIn More