Content combination strategies for Image Classification - Archive ouverte HAL Access content directly
Theses Year : 2022

Content combination strategies for Image Classification

Stratégies de combinaison de contenus pour la classification d’images

Rémy Sun
  • Function : Author
  • PersonId : 1218484
  • IdHAL : remy-sun

Abstract

In this thesis, we tackle the question of deep image classification, a fundamental issue for computer vision and visual understanding in general. We look into the common practice of engineering new examples to augment the dataset. We take this as an opportunity to teach neural algorithms to reconcile information mixed from different samples with Mixing Sample Data Augmentation so as to better understand the problem. To this end, we study both how to edit the content in a mixed image, and what the model should predict for the mixed images. We first propose a new type of data augmentation that helps model generalize by embedding the semantic content of samples into the non-semantic context of other samples to generate in-class mixed samples. To this end, we design new neural architectures capable of generating such mixed samples, and then show the resulting mixed inputs help train stronger classifiers in a semi-supervised setting where few labeled samples are available. In a second part, we show input mixing can be used as an input compression method to train multiple subnetworks in a base network from compressed inputs. Indeed, by formalizing the seminal multi-input multi-output (MIMO) framework as a mixing data augmentation and changing the underlying mixing mechanisms, we obtain strong improvements of over standard models and MIMO models. Finally, we adapt this MIMO technique to the emerging Vision Transformer (ViT) models. Our work shows ViTs present unique challenges for MIMO training, but that they are also uniquely suited for it.
Dans cette thèse, nous nous attaquons au problème de la classification d'images, un problème fondamental pour la vision par ordinateur et le raisonnement visuel en général. Nous nous intéressons aux différentes façons d'augmenter artificiellement la taille du jeu de données. Plus précisément, nous mettons cette technique à profit pour apprendre au algorithmes neuronaux à réconcilier l'information mixée à partir de différents exemples par le biais des augmentation de données mixantes afin de mieux comprendre le problème sous-jacent. Nous proposons d'abord un nouveau type d'augmentation qui aide le modèle à généraliser en incrustant le contenu sémantique d'un exemples dans le contexte non-sémantique d'un autre pour générer des exemples mixtes appartenant à une unique classe. Pour ce faire, nous proposons de nouvelles architectures permettant de générer de tels exemples, et entrainons de meilleures classificateurs dans un contexte semi-supervisé. Dans un second temps, nous montrons que le mixage d'image peut être utilisé comme un schéma de compression d'entrées permettant d'entraîner de multiples sous-réseaux au sein d'un réseau de base. En effet, en formalisant la méthode séminal ``multi-input multi-output'' (MIMO) comme un schéma d'augmentation de données par mixage d'images. Finalement, nous adaptons ces derniers modèles MIMO aux récents modèles Vision Transformer. Nos travaux montrent que ces nouvelles architectures présentent leurs propres uniques incompatibilités avec l'entraînement MIMO, mais qu'elles y sont aussi extrêmement adaptées à d'autres égards.
Fichier principal
Vignette du fichier
SUN_Remy_these_2022_v1.pdf (18.58 Mo) Télécharger le fichier
Origin : Version validated by the jury (STAR)

Dates and versions

tel-03952815 , version 1 (23-01-2023)
tel-03952815 , version 2 (06-02-2023)

Identifiers

  • HAL Id : tel-03952815 , version 2

Cite

Rémy Sun. Content combination strategies for Image Classification. Artificial Intelligence [cs.AI]. Sorbonne Université, 2022. English. ⟨NNT : 2022SORUS272⟩. ⟨tel-03952815v2⟩
106 View
17 Download

Share

Gmail Facebook X LinkedIn More