Communication Dans Un Congrès Année : 2025

DALL-E Brain: Generation of 2D T1-w, T2-w and FLAIR MRI brain images from text descriptions.

DALL-E Brain : Génération d'images IRM cérébrales 2D T1-w, T2-w et FLAIR à partir de descriptions textuelles

Résumé

This project explores the application of Latent Diffusion Models (LDMs) for generating synthetic yet realistic T1- weighted, T2-weighted, and FLAIR MRI brain images from textual prompts. To train our model, we constructed a dataset of over 40,000 MRI scans of healthy subjects, each paired with slice-specific textual descriptions. These annotations include anatomical structures, age, sex, and imaging details such as slice plane and MRI sequence. To enhance textual conditioning, we modified an LDM to handle long prompts with a vocabulary specialized for the medical domain. Model performance is evaluated using MS-SSIM for the VAE component and FID for the diffusion-generated images. Experimental results demonstrate that using only textual descriptions, our method can generate realistic MRI scans, highlighting the potential of LDMs for medical imaging synthesis.

Ce projet explore l'application des Modèles de Diffusion Latents (LDMs) pour générer des images IRM cérébrales synthétiques mais réalistes en pondération T1, T2 et FLAIR à partir de descriptions textuelles. Pour entraîner notre modèle, nous avons construit un jeu de données comprenant plus de 40 000 scans IRM de sujets sains, chacun associé à des descriptions textuelles spécifiques à chaque coupe. Ces annotations comprennent les structures anatomiques, l'âge, le sexe et les informations d'imagerie, incluant le plan de coupe et la séquence IRM. Nous proposons un LDM pour gérer des descriptions longues avec un vocabulaire spécialisé en imagerie médicale. Les performances du modèle sont évaluées à l'aide du MS-SSIM pour l'autoencodeur variationnel (VAE) et du FID pour les images générées par diffusion. Les résultats expérimentaux montrent que, sur la seule base de descriptions textuelles, notre méthode permet de générer des scans IRM réalistes, soulignant ainsi le potentiel des LDMs pour la synthèse d'images médicales.

Fichier principal
Vignette du fichier
revolmuller1433 (vf).pdf (19.37 Mo) Télécharger le fichier
Origine Fichiers produits par l'(les) auteur(s)
Licence

Dates et versions

hal-05178724 , version 1 (23-07-2025)

Licence

Identifiants

  • HAL Id : hal-05178724 , version 1

Citer

Souhail El-Allaly, Thomas Grenier, C. Revol-Muller. DALL-E Brain : Génération d'images IRM cérébrales 2D T1-w, T2-w et FLAIR à partir de descriptions textuelles. Colloque GRETSI'25, XXXe Colloque Francophone de Traitement du Signal et des Images, Aug 2025, Strabourg, France. ⟨hal-05178724⟩
189 Consultations
40 Téléchargements

Partager

  • More