Apprentissage contrastif multi-modal : Du pré-entrainement auto-supervisé à la classification supervisée. - Archive ouverte HAL Accéder directement au contenu
Communication Dans Un Congrès Année : 2024

Multi-Modal Contrastive Learning: From Self-Supervised Pre-Training to Supervised Classification.

Apprentissage contrastif multi-modal : Du pré-entrainement auto-supervisé à la classification supervisée.

Résumé

With the ubiquity of deep learning methods to solve computer vision tasks, the need for high quality annotated images increases constantly. However, in many cases, the annotation process can be long and tedious. In order to reduce the need for these annotations, so-called self-supervised methods have been proposed in the litterature. In this article, we focus on the problem of representation learning for multi-modal images and how these methods can be adapted for multi-modal learning. We propose a method for self-supervised learning on multi-modal images as well as a finetuning method inspired by contrastive learning.
Avec l’omniprésence des méthodes d’apprentissage profond pour résoudre des problèmes de vision par ordinateur, le besoin pour des données annotées augmente constamment. Cependant, dans la plupart des cas, le processus d’annotation peut être long et fastidieux. Afin de réduire le besoin pour ces annotations, des méthodes auto-supervisées ont récemment été proposées dans la littérature. Nous nous focalisons ici sur l’apprentissage de représentations pour images multi-modales et comment ces méthodes peuvent être adaptées pour fonctionner pour l’apprentissage multi-modal. Nous proposons une méthode pour l’apprentissage auto-supervisé sur images multi-modales ainsi qu’une méthode pour le fine-tuning de modèles inspirée par l’apprentissage contrastif.
Fichier principal
Vignette du fichier
multi_modal___rfiap2024.pdf (370.43 Ko) Télécharger le fichier
Origine Fichiers produits par l'(les) auteur(s)

Dates et versions

hal-04619369 , version 1 (20-06-2024)

Identifiants

  • HAL Id : hal-04619369 , version 1

Citer

Paul Berg, Minh-Tan Pham, Nicolas Courty. Apprentissage contrastif multi-modal : Du pré-entrainement auto-supervisé à la classification supervisée.. Joint CAP and RFIAP 2024 Conferences, AFRIF; SSFAM, Jul 2024, Lille, France. ⟨hal-04619369⟩
0 Consultations
0 Téléchargements

Partager

Gmail Mastodon Facebook X LinkedIn More