Apprentissage pour la synthèse visuelle guidée par un flux audio et application dans le champ de l'art contemporain - Archive ouverte HAL
Pré-Publication, Document De Travail Année : 2015

Apprentissage pour la synthèse visuelle guidée par un flux audio et application dans le champ de l'art contemporain

Cédric Févotte
Jérôme Grivel
  • Fonction : Auteur

Résumé

We present a method to synthesise a visual stream driven by an audio stream. Our approach relies on the extraction of audiovisual patterns from a collection of short movie excerpts, in a training stage. The extraction is achieved by nonnegative co-factorisation of matrix representations of the audio and visual streams. The structure of the estimated patterns is used in a second stage to synthesise images from any audio input. Our work was carried out in the context of an art/science project organised and exhibited by University Nice Sophia Antipolis and contemporary art organisation DEL'ART.
Nous présentons une méthode de synthèse d'un flux visuel guidée par un flux audio. Notre approche procède dans une première étape par apprentissage de motifs audiovisuels dans des séquences cinématographiques d'entraînement. L'extraction des motifs est réalisée au moyen d'une co-factorisation non-négative de représentations matricielles des flux audio et visuels. La structure des motifs appris est ensuite utilisée dans une seconde étape pour générer des images à partir de n'importe quelle entrée audio. Ce dispositif a été utilisé dans le cadre d'un projet arts/sciences organisé et exposé par l'Université Nice Sophia Antipolis et l'association pour l'art contemporain DEL'ART.
Fichier principal
Vignette du fichier
fevotte191-1.pdf (1.28 Mo) Télécharger le fichier
Origine Fichiers produits par l'(les) auteur(s)
Loading...

Dates et versions

hal-01138715 , version 1 (02-04-2015)
hal-01138715 , version 2 (04-07-2015)

Licence

Copyright (Tous droits réservés)

Identifiants

  • HAL Id : hal-01138715 , version 2

Citer

Cédric Févotte, Jérôme Grivel. Apprentissage pour la synthèse visuelle guidée par un flux audio et application dans le champ de l'art contemporain. 2015. ⟨hal-01138715v2⟩
142 Consultations
126 Téléchargements

Partager

More