Clustering sur données incomplètes : méthodes directes ou imputation multiple ? - Archive ouverte HAL Accéder directement au contenu
Communication Dans Un Congrès Année : 2023

Clustering sur données incomplètes : méthodes directes ou imputation multiple ?

Résumé

Missing data is a recurrent difficulty in the application of statistical methods. Among standard methods for overcoming this issue, they are likelihood-based methods. These include the so-called direct methods, which consist in adapting statistical methods to the presence of missing values, and multiple imputation techniques, which consist in replacing missing values with plausible values and then applying the statistical methods on imputed data. In general, both approaches produce very similar results as long as they are based on the same modelling assumptions (Gégout-Petit et al., 2022). Here, we are interested in the particular case of clustering. Different clustering techniques have already been proposed in the litterature to handle missing data by direct methods. Among them, we can quote: the gaussian mixture model (McLachlan and Basford, 1988), the k-means (Forgy, 1965), or the fuzzy c means (Dunn, 1973; Bezdek, 1981). The methodology for adressing missing data by multiple imputation in clustering is more recent, in particular because clustering does not fit into the classical framework where the aim is to estimate the parameters of a model, but rather to obtain a partition of individuals. The aim of this presentation is to compare both approaches addressing missing values in the particular context of clustering. For achieving this goal, we present a simulation study comparing the use of direct methods for a clustering by gaussian mixture model (Marbac et al., 2019), k-means (Chi et al., 2016), or fuzzy c-means (Hathaway and Bezdek, 2001) and multiple imputation (Audigier and Niang, 2022). We start by treating the case where the observations are generated from a gaussian mixture model with missing at random values (MAR mechanism). The study is completed by experiments based on various real data sets where the distribution of the data is unknown. Contrary to what is classically observed in the context of missing data, multiple imputation in the clustering framework generally provides a better partition than direct approaches for the various clustering methods considered. Moreover, it allows application of any clustering method on incomplete data and offers a strategy to choose the number of classes for any clustering method (parametric or geometrical) when the data are incomplete. Thus, this work tends to highlight multiple imputation is a better approach for clustering on incomplete data.
Les données manquantes constituent une difficulté récurrente dans la mise en œuvre de méthodes statistiques. Parmi les méthodes classiques permettant de gérer cette difficulté, on peut notamment citer les méthodes basées sur la vraisemblance. Elles regroupent les méthodes dites directes, consistant à adapter les méthodes statistiques à la présence de valeurs manquantes, et les techniques d’imputation multiple, consistant à remplacer les valeurs manquantes par plusieurs valeurs plausibles puis à appliquer les méthodes statistiques souhaitées sur les données complétées. En général, les deux approches produisent des résultats très similaires pourvu qu’elles reposent sur les mêmes hypothèses de modélisation (Gégout-Petit et al., 2022). Ici, nous nous intéressons au cas particulier de la classification non-supervisée (ou clustering). Différentes techniques de clustering ont déjà fait l’objet d’articles traitant de la gestion des données manquantes par méthodes directes. Parmi elles, on peut citer : le modèle de mélange gaussien (McLachlan and Basford, 1988), le k-means (Forgy, 1965), ou encore le fuzzy c- means (Dunn, 1973; Bezdek, 1981). La méthodologie de gestion des données manquantes par imputation multiple en clustering est quant à elle plus récente (Basagana et al., 2013; Bruckers et al., 2017; Faucheux et al., 2020; Audigier and Niang, 2022), notamment parce que le clustering n’entrait pas dans le cadre classique où l’on cherche à estimer des paramètres d’un modèle, mais à obtenir une partition des observations. L'objet de cette présentation est de comparer ces deux approches de gestion des valeurs manquantes dans le contexte particulier du clustering. Pour cela nous présentons une étude par simulation comparant le recours à des méthodes directes pour un clustering effectué par modèle de mélange gaussien (Marbac et al., 2019), par k-means (Chi et al., 2016) et par fuzzy c-means (Hathaway and Bezdek, 2001) et l’approche par imputation multiple (Audigier and Niang, 2022). Nous commençons par traiter le cas où les observations sont issues d’un mélange gaussien pour des données manquantes au hasard, dites MAR (Rubin, 1976). L’étude est complétée par des simulations basées sur des jeux de données réels variés où la distribution des données est cette fois inconnue. Contrairement à ce que l’on observe classiquement dans le contexte des données manquantes, l’imputation multiple dans le cadre du clustering fournit généralement une meilleure partition que les approches directes pour les différentes méthodes de clustering envisagées. Par ailleurs, elle permet d’ appliquer toute technique de clustering sur des données incomplètes et offre une stratégie pour choisir le nombre de classes que la méthode de clustering soit paramétrique ou géométrique. Ainsi, ce travail tend à montrer que l’imputation multiple est une approche à privilégier pour le clustering sur données incomplètes.
Fichier non déposé

Dates et versions

hal-04127905 , version 1 (14-06-2023)

Identifiants

  • HAL Id : hal-04127905 , version 1

Citer

Vincent Audigier, Fadela Sadou Zouleya. Clustering sur données incomplètes : méthodes directes ou imputation multiple ?. Les 54èmes Journées de Statistique, SFDS, Jul 2023, Bruxelles, Belgique. ⟨hal-04127905⟩
71 Consultations
0 Téléchargements

Partager

Gmail Mastodon Facebook X LinkedIn More