DALL-E Brain: Generation of 2D T1-w, T2-w and FLAIR MRI brain images from text descriptions.
DALL-E Brain : Génération d'images IRM cérébrales 2D T1-w, T2-w et FLAIR à partir de descriptions textuelles
Résumé
This project explores the application of Latent Diffusion Models (LDMs) for generating synthetic yet realistic T1- weighted, T2-weighted, and FLAIR MRI brain images from textual prompts. To train our model, we constructed a dataset of over 40,000 MRI scans of healthy subjects, each paired with slice-specific textual descriptions. These annotations include anatomical structures, age, sex, and imaging details such as slice plane and MRI sequence. To enhance textual conditioning, we modified an LDM to handle long prompts with a vocabulary specialized for the medical domain. Model performance is evaluated using MS-SSIM for the VAE component and FID for the diffusion-generated images. Experimental results demonstrate that using only textual descriptions, our method can generate realistic MRI scans, highlighting the potential of LDMs for medical imaging synthesis.
Ce projet explore l'application des Modèles de Diffusion Latents (LDMs) pour générer des images IRM cérébrales synthétiques mais réalistes en pondération T1, T2 et FLAIR à partir de descriptions textuelles. Pour entraîner notre modèle, nous avons construit un jeu de données comprenant plus de 40 000 scans IRM de sujets sains, chacun associé à des descriptions textuelles spécifiques à chaque coupe. Ces annotations comprennent les structures anatomiques, l'âge, le sexe et les informations d'imagerie, incluant le plan de coupe et la séquence IRM. Nous proposons un LDM pour gérer des descriptions longues avec un vocabulaire spécialisé en imagerie médicale. Les performances du modèle sont évaluées à l'aide du MS-SSIM pour l'autoencodeur variationnel (VAE) et du FID pour les images générées par diffusion. Les résultats expérimentaux montrent que, sur la seule base de descriptions textuelles, notre méthode permet de générer des scans IRM réalistes, soulignant ainsi le potentiel des LDMs pour la synthèse d'images médicales.
| Origine | Fichiers produits par l'(les) auteur(s) |
|---|---|
| Licence |