Study of diffusion models for sports dance image editing
Étude de modèles de diffusion pour la modification d'images de danse sportive
Résumé
Generating images and videos using generative and diffusion models is a very active area of research, notably through popularizing models such as Chat-GPT or LAMA. In recent years, increased computational resources have enabled the development of models to generate new images and videos from original sources, or modify them according to constraints provided by prompts. However, these models still have difficulty in preserving human anatomy when applied to images displaying human bodies performing complex movements, such as those found in gymnastics or dance. In this article, we provide experiments relying on the latest reference methods for image modification in the context of artistic dance, as well as a new framework based on Poisson Blending allowing better respect of dancers' morphology.
La génération d'images et de vidéos à travers des modèles génératifs et de diffusions est un domaine très actif de la recherche, notamment à travers la popularisation de modèles tels que Chat-GPT ou LAMA. L'augmentation des ressources de calcul a permis ces dernières années le développement de modèles capables de générer de nouvelles images et vidéos à partir de sources originales, ou encore de modifier ces dernières en suivant des contraintes fournies sous forme de prompts. Pourtant, ces modèles ont encore des difficultés à préserver l'anatomie humaine lorsqu'on les applique à des images présentant des corps humains effectuant des mouvements complexes, tels que ceux présents en gymnastique ou en danse. Dans cet article, nous proposons un retour d'expérience sur l'utilisation des dernières méthodes de référence pour de la modification d'images de danse artistique, ainsi qu'un nouveau cadre d'étude basé sur du Poisson Blending permettant un meilleur respect de la morphologie des danseurs.
| Origine | Fichiers produits par l'(les) auteur(s) |
|---|---|
| Licence |