Missing Values for Classification of Machine Learning in Medical data - Archive ouverte HAL Accéder directement au contenu
Communication Dans Un Congrès Année : 2022

Missing Values for Classification of Machine Learning in Medical data

Valeurs manquantes pour la classification de l'apprentissage automatique dans les données médicales

Résumé

Missing values are an unavoidable problem for classification tasks of machine learning in medical data. With the rapid development of the medical system, large scale medical data is increasing. Missing values increase the difficulty of mining hidden but useful information in these medical datasets. Deletion and imputation methods are the most popular methods for dealing with missing values. Existing studies ignored to compare and discuss the deletion and imputation methods of missing values under the row missing rate and the total missing rate. Meanwhile, they rarely used experiment data sets that are mixed-type and large scale. In this work, medical data sets of various sizes and mixed-type are used. At the same time, performance differences of deletion and imputation methods are compared under the MCAR (Missing Completely At Random) mechanism in the baseline task using LR (Linear Regression) and SVM (Support Vector Machine) classifiers for classification with the same row and total missing rates. Experimental results show that under the MCAR missing mechanism, the performance of two types of processing methods is related to the size of datasets and missing rates. As the increasing of missing rate, the performance of two types for processing missing values decreases, but the deletion method decreases faster, and the imputation methods based on machine learning have more stable and better classification performance on average. In addition, small data sets are easily affected by processing methods of missing values.
Les valeurs manquantes sont un problème inévitable pour les tâches de classification de l'apprentissage automatique dans les données médicales. Avec le développement rapide du système médical, les données médicales à grande échelle augmentent. Les valeurs manquantes augmentent la difficulté d'extraire des informations cachées mais utiles dans ces ensembles de données médicales. Les méthodes de suppression et d'imputation sont les plus courantes pour traiter les valeurs manquantes. Les études existantes ont ignoré la comparaison et l'examen des méthodes de suppression et d'imputation des valeurs manquantes en fonction du taux de lignes manquantes et du taux total de valeurs manquantes. Par ailleurs, elles ont rarement utilisé des ensembles de données expérimentales de type mixte et à grande échelle. Dans ce travail, des ensembles de données médicales de différentes tailles et de type mixte sont utilisés. Parallèlement, les différences de performance des méthodes de suppression et d'imputation sont comparées dans le cadre du mécanisme MCAR (Missing Completely At Random) dans la tâche de base en utilisant des classificateurs LR (Linear Regression) et SVM (Support Vector Machine) pour la classification avec les mêmes taux de lignes manquantes et le même taux total de données manquantes. Les résultats expérimentaux montrent que, dans le cadre du mécanisme de manque MCAR, les performances des deux types de méthodes de traitement sont liées à la taille des ensembles de données et aux taux de manque. Avec l'augmentation du taux de données manquantes, les performances des deux types de traitement des valeurs manquantes diminuent, mais la méthode de suppression diminue plus rapidement, et les méthodes d'imputation basées sur l'apprentissage automatique ont des performances de classification plus stables et meilleures en moyenne. En outre, les petits ensembles de données sont facilement affectés par les méthodes de traitement des valeurs manquantes.
Fichier non déposé

Dates et versions

hal-04040620 , version 1 (22-03-2023)

Identifiants

Citer

Lijuan REN, Tao Wang, Aicha Sekhari, Haiqing Zhang, Abdelaziz Bouras. Missing Values for Classification of Machine Learning in Medical data. 2022 5th International Conference on Artificial Intelligence and Big Data (ICAIBD), May 2022, Chengdu, China. pp.101-106, ⟨10.1109/ICAIBD55127.2022.9820448⟩. ⟨hal-04040620⟩
29 Consultations
0 Téléchargements

Altmetric

Partager

Gmail Facebook X LinkedIn More