L'indexation par locuteurs d'une collection de document sonore consiste à organiser ces données sonores en fonction des locuteurs présents dans la base de données. Cette indexation se fait selon trois étapes : (1) la segmentation par locuteurs de chaque document sonore de la base ; (2) l'appariement de locuteurs entre les diverses portions segmentées des documents ; (3) la génération d'un index basé sur les locuteurs. Ce papier se focalise sur la deuxième étape, c'est-à-dire l'appariement de locuteurs, qui n'a été que très peu abordée jusqu'à maintenant. Le résultat de cette tâche est une classification des différentes portions segmentées en classes correspondant chacune à des locuteurs différents. Dans cet article, nous étudions l'intérêt d'approches de type classification hiérarchique pour l'appariement de locuteurs. Nous proposons deux nouvelles mesures de dissimilarité discriminantes et un nouvel algorithme ``bottom-up'' que nous comparons avec des approches plus classiques en classification hiérarchique. Les expériences sont réalisées sur un sous-ensemble de la base de données Switchboard, une base contenant des conversations téléphoniques. Les approches proposées permettent un appariement de locuteurs satisfaisant avec un bon niveau de purité pour chacune des classes, mais le nombre de classes tend à être supérieur au nombre réel de locuteurs.