Architectures and Training for Visual Understanding - Archive ouverte HAL Accéder directement au contenu
Thèse Année : 2022

Architectures and Training for Visual Understanding

Architectures et Apprentissage pour l’Interprétation d’Image

Résumé

Nowadays, machine learning and more particularly deep learning have an increasing impact in our society. This field has become prevalent, for instance in natural language processing where it has led to concrete applications to hate speech detection and document summarization. Sim- ilarly for computer vision, it enables better image interpretation, medical diagnosis, and major steps towards autonomous driving. Deep learning success is often associated with emblematic architectures, like AlexNet [123], ResNet [94] or GPT [155]. These successes were also powered by well-designed optimisation procedures, which are usually not the main focus of discussions. In image classification, the ImageNet [168] challenge was an accelerator for the development of new architectures but also for new optimisation recipes. In this thesis, we discuss the interactions between architectures and training procedures. We study more specifically Transformers [204] architecture applied for visual understanding. Cur- rently, transformers training procedures are less mature than those employed with convolutional networks (convnets). However, training is key to overcoming the limited architectural priors of transformers. For this reason, we focus on training procedures capable of obtaining interesting performance for transformers or even simpler architectures close to the multi-layer perceptron. We start by studying the possibility of learning with coarse labels through a modification of the training procedure. We then study different kinds of architectures for computer vision. We study their features, their advantages, their drawbacks and how to train them. Finally, we study the impact of the interaction between architecture and training process. All our approaches are evalu- ated in image classification on ImageNet and in transfer learning. We also evaluate our methods on additional tasks such as semantic segmentation.
L’apprentissage machine et plus particulièrement l’apprentissage profond (deep learning) ont un impact de plus en plus important dans notre société. En effet, ces approches sont dev- enues prépondérantes dans de nombreux domaines tels que le traitement du langage naturel avec la détection de contenu haineux, la synthèse de documents ou encore la vision par ordi- nateur avec le diagnostic médical ou le développement des voitures autonomes. Le succès de l’apprentissage profond est souvent associé à des architectures désormais emblématiques, comme AlexNet [123], ResNet [94] ou GPT [155]. Ces succès ont également été alimentés par des procé- dures d’optimisation bien conçues, qui néanmoins ne sont généralement pas au centre des préoc- cupations. Pour la classification d’image, le challenge ImageNet [168] a été un accélérateur pour le développement de nouvelles architectures mais aussi de nouvelles stratégies d’optimisation. Dans cette thèse, nous discutons des interactions qu’il existe entre les architectures et les procé- dures d’entrainement. Nous étudions plus spécifiquement l’architecture des Transformers [204], appliqués à la vision par ordinateur, pour lesquels les procédures d’entrainement sont encore peu explorées. Elles sont pourtant essentielles pour compenser l’absence de prior architectural spécifique au traitement d’image. Nous proposons dans ce travail des procédures d’entraînement capables d’obtenir des performances état de l’art pour des Transformers ou même pour des ar- chitectures plus simples se rapprochant de perceptrons multi-couches. Plus précisément, nous commençons par étudier la possibilité d’apprendre avec des étiquettes grossières par une modi- fication de la procédure d’entrainement. Nous étudions ensuite différents types d’architectures pour la vision par ordinateur. Nous analysons en particulier leurs caractéristiques, leurs avantages, leurs inconvénients et la manière de les entraîner. Enfin, nous étudions l’impact des interactions entre les architectures et les procédures d’entrainement. L’ensemble de nos approches sont éval- uées en classification d’image sur ImageNet et en transfer. Nous nous évaluons également sur des tâches annexes comme par exemple la segmentation sémantique.

Mots clés

Fichier principal
Vignette du fichier
PhD_Hugo_Touvron.pdf (31.78 Mo) Télécharger le fichier
Origine : Fichiers produits par l'(les) auteur(s)

Dates et versions

tel-03945782 , version 1 (18-01-2023)

Identifiants

  • HAL Id : tel-03945782 , version 1

Citer

Hugo Touvron. Architectures and Training for Visual Understanding. Computer Science [cs]. Sorbone Université, 2022. English. ⟨NNT : ⟩. ⟨tel-03945782⟩
281 Consultations
30 Téléchargements

Partager

Gmail Facebook X LinkedIn More