Contraction d'une image en une petite séquence de tokens avec des modules d'attention croisée - Archive ouverte HAL Accéder directement au contenu
Communication Dans Un Congrès Année : 2023

Contraction d'une image en une petite séquence de tokens avec des modules d'attention croisée

Natacha Luka
  • Fonction : Auteur
  • PersonId : 1353219
Romain Negrel
David Picard

Résumé

In this paper, we introduce a novel deep image sequence reduction method solely based on attention transformer decoder modules. Contrarily to common deep learning image compression using attention mechanism, our architecture does not use any convolution. Besides, we introduce our concept of learned image queries, which aggregates the information of the input image previously partitioned in a sequence of patchs, to obtain a smaller sequence which can be re-used for various downstream tasks.
Dans cet article, nous introduisons une méthode de contraction d'une image en une petite séquence entièrement basée sur des modules d'attention de type transformer décodeur. Nous introduisons le concept d'image queries : des tokens prototypes appris qui vont agréger l'information contenue dans l'image d'entrée, préalablement découpée en une séquence de patchs, formant ainsi une séquence de taille réduite utilisable pour d'autres applications. Contrairement aux autres modèles d'apprentissage profond utilisant des modules d'attentions en compression d'image, notre architecture ne contient aucune convolution.
Fichier principal
Vignette du fichier
2023_luka1191.pdf (595.47 Ko) Télécharger le fichier
Origine : Fichiers produits par l'(les) auteur(s)

Dates et versions

hal-04461280 , version 1 (16-02-2024)

Identifiants

  • HAL Id : hal-04461280 , version 1

Citer

Natacha Luka, Romain Negrel, David Picard. Contraction d'une image en une petite séquence de tokens avec des modules d'attention croisée. GRETSI'23 XXIXème Colloque Francophone de Traitement du Signal et des Images, Aug 2023, Grenoble, France. ⟨hal-04461280⟩
21 Consultations
4 Téléchargements

Partager

Gmail Facebook X LinkedIn More