Article Dans Une Revue IEEE Transactions on Computational Imaging Année : 2025

Transfer Learning for Data Fusion for Electromagnetic and Ultrasound Breast Imaging

Apprentissage par transfert pour la fusion de données en imagerie mammaire électromagnétique et ultrasonore

Résumé

Aiming at improved breast imaging, this contribu- tion explores several scenarios for segmenting and estimating the distribution of electromagnetic (EM) and/or ultrasonic (US) parameters within breast tissue. A two-fold approach is adopted, leveraging Transfer Learning (TL) through Bayesian Neural Networks (BNN); the first objective is to consistently enhance imaging results, and the second is to establish a novel framework for data fusion transfer learning. The methodological approach is tailored for Artificial, Convolutional, and Bayesian Neural Networks, showcasing its effectiveness through the analysis of electromagnetic (EM) and ultrasonic (US) datasets computed in reliable scenarios, with a focus on heterogeneously dense and extremely dense breasts. Furthermore, a novel transfer learning Bayesian data fusion framework incorporating multi-frequency data exploits the complementary nature of EM low-resolution and US high-resolution imaging. By enhancing the fusion of EM and US data, this framework leads to better-contrasted zones in the images and is shown to outperform the most common transfer learning approaches.

Visant à améliorer l'imagerie mammaire, cette contribution explore plusieurs scénarios de segmentation et d'estimation de la distribution des paramètres électromagnétiques (EM) et/ou ultrasonores (US) dans le tissu mammaire. Une approche en deux volets est adoptée, exploitant l'apprentissage par transfert (TL) via les réseaux neuronaux bayésiens (BNN) ; le premier objectif est d'améliorer systématiquement les résultats d'imagerie, et le second est d'établir un nouveau cadre pour l'apprentissage par transfert de fusion de données. L'approche méthodologique est adaptée aux réseaux neuronaux artificiels, convolutionnels et bayésiens, démontrant son efficacité grâce à l'analyse d'ensembles de données électromagnétiques et ultrasonores calculés dans des scénarios fiables, en mettant l'accent sur les seins hétérogènes et extrêmement denses. De plus, un nouveau cadre de fusion de données bayésiennes d'apprentissage par transfert intégrant des données multifréquences exploite la nature complémentaire de l'imagerie basse résolution EM et haute résolution US. En améliorant la fusion des données EM et US, ce cadre conduit à des zones mieux contrastées dans les images et se révèle plus performant que les approches d'apprentissage par transfert les plus courantes.

Fichier non déposé

Dates et versions

hal-04853538 , version 1 (22-12-2024)

Identifiants

Citer

Valentin Noël, Thomas Rodet, Dominique Lesselier. Transfer Learning for Data Fusion for Electromagnetic and Ultrasound Breast Imaging. IEEE Transactions on Computational Imaging, 2025, ⟨10.1109/TCI.2025.3541934⟩. ⟨hal-04853538⟩
273 Consultations
0 Téléchargements

Altmetric

Partager

  • More