Architectures and Training for Visual Understanding
Architectures et Apprentissage pour l’Interprétation d’Image
Résumé
Nowadays, machine learning and more particularly deep learning have an increasing impact
in our society. This field has become prevalent, for instance in natural language processing where
it has led to concrete applications to hate speech detection and document summarization. Sim-
ilarly for computer vision, it enables better image interpretation, medical diagnosis, and major
steps towards autonomous driving. Deep learning success is often associated with emblematic
architectures, like AlexNet [123], ResNet [94] or GPT [155]. These successes were also powered by
well-designed optimisation procedures, which are usually not the main focus of discussions. In
image classification, the ImageNet [168] challenge was an accelerator for the development of new
architectures but also for new optimisation recipes.
In this thesis, we discuss the interactions between architectures and training procedures. We
study more specifically Transformers [204] architecture applied for visual understanding. Cur-
rently, transformers training procedures are less mature than those employed with convolutional
networks (convnets). However, training is key to overcoming the limited architectural priors of
transformers. For this reason, we focus on training procedures capable of obtaining interesting
performance for transformers or even simpler architectures close to the multi-layer perceptron.
We start by studying the possibility of learning with coarse labels through a modification of the
training procedure. We then study different kinds of architectures for computer vision. We study
their features, their advantages, their drawbacks and how to train them. Finally, we study the
impact of the interaction between architecture and training process. All our approaches are evalu-
ated in image classification on ImageNet and in transfer learning. We also evaluate our methods
on additional tasks such as semantic segmentation.
L’apprentissage machine et plus particulièrement l’apprentissage profond (deep learning) ont
un impact de plus en plus important dans notre société. En effet, ces approches sont dev-
enues prépondérantes dans de nombreux domaines tels que le traitement du langage naturel
avec la détection de contenu haineux, la synthèse de documents ou encore la vision par ordi-
nateur avec le diagnostic médical ou le développement des voitures autonomes. Le succès de
l’apprentissage profond est souvent associé à des architectures désormais emblématiques, comme
AlexNet [123], ResNet [94] ou GPT [155]. Ces succès ont également été alimentés par des procé-
dures d’optimisation bien conçues, qui néanmoins ne sont généralement pas au centre des préoc-
cupations. Pour la classification d’image, le challenge ImageNet [168] a été un accélérateur pour
le développement de nouvelles architectures mais aussi de nouvelles stratégies d’optimisation.
Dans cette thèse, nous discutons des interactions qu’il existe entre les architectures et les procé-
dures d’entrainement. Nous étudions plus spécifiquement l’architecture des Transformers [204],
appliqués à la vision par ordinateur, pour lesquels les procédures d’entrainement sont encore
peu explorées. Elles sont pourtant essentielles pour compenser l’absence de prior architectural
spécifique au traitement d’image. Nous proposons dans ce travail des procédures d’entraînement
capables d’obtenir des performances état de l’art pour des Transformers ou même pour des ar-
chitectures plus simples se rapprochant de perceptrons multi-couches. Plus précisément, nous
commençons par étudier la possibilité d’apprendre avec des étiquettes grossières par une modi-
fication de la procédure d’entrainement. Nous étudions ensuite différents types d’architectures
pour la vision par ordinateur. Nous analysons en particulier leurs caractéristiques, leurs avantages,
leurs inconvénients et la manière de les entraîner. Enfin, nous étudions l’impact des interactions
entre les architectures et les procédures d’entrainement. L’ensemble de nos approches sont éval-
uées en classification d’image sur ImageNet et en transfer. Nous nous évaluons également sur des
tâches annexes comme par exemple la segmentation sémantique.
| Origine | Fichiers produits par l'(les) auteur(s) |
|---|