Development of a Natural Language Processing Model for deriving breast cancer quality indicators : A cross-sectional, multicenter study - Archive ouverte HAL Accéder directement au contenu
Article Dans Une Revue Epidemiology and Public Health = Revue d'Epidémiologie et de Santé Publique Année : 2023

Development of a Natural Language Processing Model for deriving breast cancer quality indicators : A cross-sectional, multicenter study

Développement d'un modèle de traitement automatique du langage pour calculer des indicateurs qualité du cancer du sein : une étude transversale multicentrique

Etienne Guével
  • Fonction : Auteur
Sonia Priou
Rémi Flicoteaux
  • Fonction : Auteur
Guillaume Lamé
Romain Bey
Xavier Tannier
Ariel Cohen
  • Fonction : Auteur
Gilles Chatellier
  • Fonction : Auteur
Christel Daniel
  • Fonction : Auteur
Christophe Tournigand
  • Fonction : Auteur
  • PersonId : 1278482
Emmanuelle Kempf

Résumé

Objectives Medico-administrative data are promising to automate the calculation of Healthcare Quality and Safety Indicators. Nevertheless, not all relevant indicators can be calculated with this data alone. Our feasibility study objective is to analyze 1) the availability of data sources; 2) the availability of each indicator elementary variables, and 3) to apply natural language processing to automatically retrieve such information. Method We performed a multicenter cross-sectional observational feasibility study on the clinical data warehouse of Assistance Publique – Hôpitaux de Paris (AP-HP). We studied the management of breast cancer patients treated at AP-HP between January 2019 and June 2021, and the quality indicators published by the European Society of Breast Cancer Specialist, using claims data from the Programme de Médicalisation du Système d'Information (PMSI) and pathology reports. For each indicator, we calculated the number (%) of patients for whom all necessary data sources were available, and the number (%) of patients for whom all elementary variables were available in the sources, and for whom the related HQSI was computable. To extract useful data from the free text reports, we developed and validated dedicated rule-based algorithms, whose performance metrics were assessed with recall, precision, and f1-score. Results Out of 5785 female patients diagnosed with a breast cancer (60.9 years, IQR [50.0–71.9]), 5,147 (89.0%) had procedures related to breast cancer recorded in the PMSI, and 3732 (72.5%) had at least one surgery. Out of the 34 key indicators, 9 could be calculated with the PMSI alone, and 6 others became so using the data from pathology reports. Ten elementary variables were needed to calculate the 6 indicators combining the PMSI and pathology reports. The necessary sources were available for 58.8% to 94.6% of patients, depending on the indicators. The extraction algorithms developed had an average accuracy of 76.5% (min-max [32.7%–93.3%]), an average precision of 77.7% [10.0%–97.4%] and an average sensitivity of 71.6% [2.8% to 100.0%]. Once these algorithms applied, the variables needed to calculate the indicators were extracted for 2% to 88% of patients, depending on the indicators. Discussion The availability of medical reports in the electronic health records, of the elementary variables within the reports, and the performance of the extraction algorithms limit the population for which the indicators can be calculated. Conclusions The automated calculation of quality indicators from electronic health records is a prospect that comes up against many practical obstacles.
Objectifs Les données médico-administratives ne suffisent pas à automatiser le calcul des indicateurs de qualité et de sécurité des soins (IQSS). L'objectif de notre étude de faisabilité est d'analyser. 1) la disponibilité des sources de données ; 2) la disponibilité de chaque variable élémentaire par indicateur, et 3) d'appliquer des algorithmes de traitement du langage naturel pour extraire automatiquement ces informations. Méthode Nous avons réalisé une étude de faisabilité observationnelle transversale multicentrique sur l'entrepôt de données cliniques de l'Assistance Publique – Hôpitaux de Paris (AP-HP). Nous avons étudié la prise en charge des patients atteints de cancer du sein traités à l'AP-HP entre janvier 2016 et juin 2021, et les indicateurs publiés par l'European Society of Breast Cancer Specialist, à partir des données administratives du Programme de Médicalisation du Système d'Information (PMSI) et des comptes-rendus d'anatomopathologie. Pour chaque indicateur, nous avons calculé le nombre (%) de patients pour lesquels toutes les sources de données nécessaires étaient disponibles, et le nombre (%) de patients pour lesquels toutes les variables élémentaires étaient disponibles dans les sources, et pour lesquels l'IQSS associé était calculable. Pour extraire des données utiles des comptes rendus textuels, nous avons développé et validé des algorithmes dédiés basés sur des règles, dont les mesures de performance ont été évaluées par rappel, précision et score f1. Résultats Des 5785 patientes diagnostiquées d'un cancer du sein (60,9 ans, IQR [50,0–71,9]), 5147 (89,0 %) avaient des actes liés au cancer enregistrés dans le PMSI, et 3 732 (72,5 %) avaient au moins une chirurgie. Des 34 indicateurs cibles, 9 étaient calculables avec le PMSI seul, et 6 autres le devenaient en utilisant les données présentes dans les comptes-rendus d'anatomopathologie. Dix variables élémentaires étaient nécessaires au calcul des 6 indicateurs combinant Programme de Médicalisation du Système d'Information et comptes-rendus d'anatomopathologie. Les comptes-rendus nécessaires étaient disponibles pour 58,8 % à 94,6 % des patients, suivant les indicateurs. Les algorithmes d'extraction textuelle avaient une exactitude moyenne de 76,5 % (min-max [32,7 %–93,3 %]), une précision moyenne de 77,7 % [10,0 %–97,4 %] et une sensibilité moyenne de 71,6 % [2,8 % à 100,0 %]. Une fois ces algorithmes appliqués, les variables nécessaires au calcul des indicateurs étaient possibles à extraire pour 2 % à 88 % des patients, suivant les indicateurs. Discussion La disponibilité des comptes-rendus dans l'entrepôt de données, celle des variables élémentaires au sein des comptes rendus, et la performance des algorithmes d'extraction limite la population pour laquelle les indicateurs sont calculables. Conclusions Le calcul automatisé d'indicateurs qualité à partir des dossiers patients informatisés est une perspective qui se heurte à de nombreux freins pratiques.
Fichier sous embargo
Fichier sous embargo
0 0 18
Année Mois Jours
Avant la publication
mercredi 15 mai 2024
Fichier sous embargo
mercredi 15 mai 2024
Connectez-vous pour demander l'accès au fichier

Dates et versions

hal-04288208 , version 1 (15-11-2023)

Identifiants

Citer

Etienne Guével, Sonia Priou, Rémi Flicoteaux, Guillaume Lamé, Romain Bey, et al.. Development of a Natural Language Processing Model for deriving breast cancer quality indicators : A cross-sectional, multicenter study. Epidemiology and Public Health = Revue d'Epidémiologie et de Santé Publique, 2023, 71 (6), pp.102189. ⟨10.1016/j.respe.2023.102189⟩. ⟨hal-04288208⟩
29 Consultations
0 Téléchargements

Altmetric

Partager

Gmail Facebook X LinkedIn More