Contraction d'une image en une petite séquence de tokens avec des modules d'attention croisée
Résumé
In this paper, we introduce a novel deep image sequence reduction method solely based on attention transformer decoder modules. Contrarily to common deep learning image compression using attention mechanism, our architecture does not use any convolution. Besides, we introduce our concept of learned image queries, which aggregates the information of the input image previously partitioned in a sequence of patchs, to obtain a smaller sequence which can be re-used for various downstream tasks.
Dans cet article, nous introduisons une méthode de contraction d'une image en une petite séquence entièrement basée sur des modules d'attention de type transformer décodeur. Nous introduisons le concept d'image queries : des tokens prototypes appris qui vont agréger l'information contenue dans l'image d'entrée, préalablement découpée en une séquence de patchs, formant ainsi une séquence de taille réduite utilisable pour d'autres applications. Contrairement aux autres modèles d'apprentissage profond utilisant des modules d'attentions en compression d'image, notre architecture ne contient aucune convolution.
Origine : Fichiers produits par l'(les) auteur(s)