Diagnostic Assessment of Deep Learning Algorithms for Detection of Lymph Node Metastases in Women With Breast Cancer - Archive ouverte HAL Accéder directement au contenu
Article Dans Une Revue JAMA Cardiology Année : 2017

Diagnostic Assessment of Deep Learning Algorithms for Detection of Lymph Node Metastases in Women With Breast Cancer

Babak Ehteshami Bejnordi
  • Fonction : Auteur
Mitko Veta
  • Fonction : Auteur
Paul Johannes van Diest
  • Fonction : Auteur
Bram van Ginneken
  • Fonction : Auteur
Nico Karssemeijer
  • Fonction : Auteur
Geert Litjens
  • Fonction : Auteur
Jeroen a W M van Der Laak
  • Fonction : Auteur
Meyke Hermsen
  • Fonction : Auteur
Quirine F Manson
  • Fonction : Auteur
Maschenka Balkenhol
  • Fonction : Auteur
Oscar Geessink
  • Fonction : Auteur
Nikolaos Stathonikos
  • Fonction : Auteur
Marcory Crf van Dijk
  • Fonction : Auteur
Peter Bult
  • Fonction : Auteur
Francisco Beca
  • Fonction : Auteur
Andrew H Beck
  • Fonction : Auteur
Dayong Wang
  • Fonction : Auteur
Aditya Khosla
  • Fonction : Auteur
Rishab Gargeya
  • Fonction : Auteur
Humayun Irshad
  • Fonction : Auteur
Aoxiao Zhong
  • Fonction : Auteur
Qi Dou
  • Fonction : Auteur
Quanzheng Li
Hao Chen
Huang-Jing Lin
  • Fonction : Auteur
Pheng-Ann Heng
  • Fonction : Auteur
Christian Hass
  • Fonction : Auteur
Elia Bruni
  • Fonction : Auteur
Quincy Wong
  • Fonction : Auteur
Ugur Halici
  • Fonction : Auteur
Mustafa Ümit Öner
  • Fonction : Auteur
Rengul Cetin-Atalay
  • Fonction : Auteur
Matt Berseth
  • Fonction : Auteur
Vitali Khvatkov
  • Fonction : Auteur
Alexei Vylegzhanin
  • Fonction : Auteur
Oren Kraus
  • Fonction : Auteur
Muhammad Shaban
  • Fonction : Auteur
Nasir Rajpoot
  • Fonction : Auteur
Ruqayya Awan
  • Fonction : Auteur
Korsuk Sirinukunwattana
  • Fonction : Auteur
Talha Qaiser
  • Fonction : Auteur
Yee-Wah Tsang
  • Fonction : Auteur
David Tellez
  • Fonction : Auteur
Jonas Annuscheit
  • Fonction : Auteur
Peter Hufnagl
  • Fonction : Auteur
Mira Valkonen
  • Fonction : Auteur
Kimmo Kartasalo
  • Fonction : Auteur
Leena Latonen
  • Fonction : Auteur
Pekka Ruusuvuori
  • Fonction : Auteur
Kaisa Liimatainen
  • Fonction : Auteur
Shadi Albarqouni
  • Fonction : Auteur
Bharti Mungal
  • Fonction : Auteur
Ami George
  • Fonction : Auteur
Stefanie Demirci
  • Fonction : Auteur
Nassir Navab
  • Fonction : Auteur
Seiryo Watanabe
  • Fonction : Auteur
Shigeto Seno
  • Fonction : Auteur
Yoichi Takenaka
  • Fonction : Auteur
Hideo Matsuda
  • Fonction : Auteur
Hady Ahmady Phoulady
  • Fonction : Auteur
Vassili Kovalev
  • Fonction : Auteur
Alexander Kalinovsky
  • Fonction : Auteur
Vitali Liauchuk
  • Fonction : Auteur
Gloria Bueno
  • Fonction : Auteur
M Milagro Fernandez-Carrobles
  • Fonction : Auteur
Ismael Serrano
  • Fonction : Auteur
Oscar Deniz
  • Fonction : Auteur
Rui Venâncio
  • Fonction : Auteur

Résumé

IMPORTANCE Application of deep learning algorithms to whole-slide pathology images can potentially improve diagnostic accuracy and efficiency. OBJECTIVE Assess the performance of automated deep learning algorithms at detecting metastases in hematoxylin and eosin–stained tissue sections of lymph nodes of women with breast cancer and compare it with pathologists’ diagnoses in a diagnostic setting. DESIGN, SETTING, AND PARTICIPANTS Researcher challenge competition (CAMELYON16) to develop automated solutions for detecting lymph node metastases (November 2015-November 2016). A training data set of whole-slide images from 2 centers in the Netherlands with (n = 110) and without (n = 160) nodal metastases verified by immunohistochemical staining were provided to challenge participants to build algorithms. Algorithm performance was evaluated in an independent test set of 129 whole-slide images (49 with and 80 without metastases). The same test set of corresponding glass slides was also evaluated by a panel of 11 pathologists with time constraint (WTC) from the Netherlands to ascertain likelihood of nodal metastases for each slide in a flexible 2-hour session, simulating routine pathology workflow, and by 1 pathologist without time constraint (WOTC). EXPOSURES Deeplearningalgorithmssubmittedaspartofachallengecompetitionor pathologist interpretation. MAIN OUTCOMES AND MEASURES The presence of specific metastatic foci and the absence vs presence of lymph node metastasis in a slide or image using receiver operating characteristic curve analysis. The 11 pathologists participating in the simulation exercise rated their diagnostic confidence as definitely normal, probably normal, equivocal, probably tumor, or definitely tumor. RESULTS The area under the receiver operating characteristic curve (AUC) for the algorithms ranged from 0.556 to 0.994. The top-performing algorithm achieved a lesion-level, true-positive fraction comparable with that of the pathologist WOTC (72.4% [95% CI, 64.3%-80.4%]) at a mean of 0.0125 false-positives per normal whole-slide image. For the whole-slide image classification task, the best algorithm (AUC, 0.994 [95% CI, 0.983-0.999]) performed significantly better than the pathologists WTC in a diagnostic simulation (mean AUC, 0.810 [range, 0.738-0.884]; P < .001). The top 5 algorithms had a mean AUC that was comparable with the pathologist interpreting the slides in the absence of time constraints (mean AUC, 0.960 [range, 0.923-0.994] for the top 5 algorithms vs 0.966 [95% CI, 0.927-0.998] for the pathologist WOTC). CONCLUSIONS AND RELEVANCE In the setting of a challenge competition, some deep learning algorithms achieved better diagnostic performance than a panel of 11 pathologists participating in a simulation exercise designed to mimic routine pathology workflow; algorithm performance was comparable with an expert pathologist interpreting whole-slide images without time constraints. Whether this approach has clinical utility will require evaluation in a clinical setting.
Fichier principal
Vignette du fichier
ehteshami_bejnordi2017jama.pdf (3.17 Mo) Télécharger le fichier
Origine : Publication financée par une institution

Dates et versions

hal-03140979 , version 1 (14-02-2021)

Identifiants

Citer

Babak Ehteshami Bejnordi, Mitko Veta, Paul Johannes van Diest, Bram van Ginneken, Nico Karssemeijer, et al.. Diagnostic Assessment of Deep Learning Algorithms for Detection of Lymph Node Metastases in Women With Breast Cancer. JAMA Cardiology, 2017, 318, ⟨10.1001/jama.2017.14585⟩. ⟨hal-03140979⟩
87 Consultations
58 Téléchargements

Altmetric

Partager

Gmail Facebook X LinkedIn More