Clustering sur données incomplètes : méthodes directes ou imputation multiple ?
Résumé
Missing data is a recurrent difficulty in the application of statistical methods.
Among standard methods for overcoming this issue, they are likelihood-based methods.
These include the so-called direct methods, which consist in adapting statistical methods to
the presence of missing values, and multiple imputation techniques, which consist in replacing
missing values with plausible values and then applying the statistical methods on imputed
data. In general, both approaches produce very similar results as long as they are based on
the same modelling assumptions (Gégout-Petit et al., 2022).
Here, we are interested in the particular case of clustering. Different clustering techniques
have already been proposed in the litterature to handle missing data by direct methods.
Among them, we can quote: the gaussian mixture model (McLachlan and Basford, 1988), the
k-means (Forgy, 1965), or the fuzzy c means (Dunn, 1973; Bezdek, 1981). The methodology
for adressing missing data by multiple imputation in clustering is more recent, in particular
because clustering does not fit into the classical framework where the aim is to estimate the
parameters of a model, but rather to obtain a partition of individuals.
The aim of this presentation is to compare both approaches addressing missing values in
the particular context of clustering. For achieving this goal, we present a simulation study
comparing the use of direct methods for a clustering by gaussian mixture model (Marbac
et al., 2019), k-means (Chi et al., 2016), or fuzzy c-means (Hathaway and Bezdek, 2001) and
multiple imputation (Audigier and Niang, 2022). We start by treating the case where the
observations are generated from a gaussian mixture model with missing at random values
(MAR mechanism). The study is completed by experiments based on various real data sets
where the distribution of the data is unknown.
Contrary to what is classically observed in the context of missing data, multiple imputation
in the clustering framework generally provides a better partition than direct approaches for
the various clustering methods considered. Moreover, it allows application of any clustering
method on incomplete data and offers a strategy to choose the number of classes for any
clustering method (parametric or geometrical) when the data are incomplete. Thus, this
work tends to highlight multiple imputation is a better approach for clustering on incomplete
data.
Les données manquantes constituent une difficulté récurrente dans la mise en
œuvre de méthodes statistiques. Parmi les méthodes classiques permettant de gérer cette
difficulté, on peut notamment citer les méthodes basées sur la vraisemblance. Elles regroupent
les méthodes dites directes, consistant à adapter les méthodes statistiques à la présence
de valeurs manquantes, et les techniques d’imputation multiple, consistant à remplacer les
valeurs manquantes par plusieurs valeurs plausibles puis à appliquer les méthodes statistiques
souhaitées sur les données complétées. En général, les deux approches produisent des résultats très similaires pourvu qu’elles reposent sur les mêmes hypothèses de modélisation (Gégout-Petit et al., 2022).
Ici, nous nous intéressons au cas particulier de la classification non-supervisée (ou clustering).
Différentes techniques de clustering ont déjà fait l’objet d’articles traitant de la gestion des
données manquantes par méthodes directes. Parmi elles, on peut citer : le modèle de mélange
gaussien (McLachlan and Basford, 1988), le k-means (Forgy, 1965), ou encore le fuzzy c-
means (Dunn, 1973; Bezdek, 1981). La méthodologie de gestion des données manquantes
par imputation multiple en clustering est quant à elle plus récente (Basagana et al., 2013;
Bruckers et al., 2017; Faucheux et al., 2020; Audigier and Niang, 2022), notamment parce que
le clustering n’entrait pas dans le cadre classique où l’on cherche à estimer des paramètres
d’un modèle, mais à obtenir une partition des observations.
L'objet de cette présentation est de comparer ces deux approches de gestion des valeurs
manquantes dans le contexte particulier du clustering. Pour cela nous présentons une étude
par simulation comparant le recours à des méthodes directes pour un clustering effectué par
modèle de mélange gaussien (Marbac et al., 2019), par k-means (Chi et al., 2016) et par fuzzy
c-means (Hathaway and Bezdek, 2001) et l’approche par imputation multiple (Audigier and
Niang, 2022). Nous commençons par traiter le cas où les observations sont issues d’un mélange gaussien pour des données manquantes au hasard, dites MAR (Rubin, 1976). L’étude est complétée par des simulations basées sur des jeux de données réels variés où la distribution des données est cette fois inconnue.
Contrairement à ce que l’on observe classiquement dans le contexte des données manquantes,
l’imputation multiple dans le cadre du clustering fournit généralement une meilleure partition
que les approches directes pour les différentes méthodes de clustering envisagées. Par ailleurs, elle permet d’ appliquer toute technique de clustering sur des données incomplètes et offre une stratégie pour choisir le nombre de classes que la méthode de clustering soit paramétrique ou géométrique. Ainsi, ce travail tend à montrer que l’imputation multiple est une approche à privilégier pour le clustering sur données incomplètes.