End-to-end Ultrametric Learning for Hierarchical Segmentation - Archive ouverte HAL Accéder directement au contenu
Pré-Publication, Document De Travail Année : 2024

End-to-end Ultrametric Learning for Hierarchical Segmentation

Apprentissage d'ultramétrique de bout en bout pour la segmentation hiérarchique

Résumé

Hierarchical image segmentation aims to capture the structure of objects of different sizes at different scales and helps to understand the scene. With the success of neural networks for image segmentation and the recent emergence of object and part segmentation datasets, the task of supervised learning of segmentation hierarchies naturally arises. In a previous work, we proposed a differentiable ultrametric layer that transforms any dissimilarity measure into an ultrametric distance equivalent to a hierarchical segmentation. In this paper, we study several loss functions for end-to-end learning of a neural network model predicting hierarchical segmentations. In particular, we propose a generalization of the Rand index for hierarchical segmentation and propose exact and approximate algorithms to compute it. We introduce new metrics to compare hierarchical segmentations, and we demonstrate the suitability of the proposed pipeline with several possible loss function combinations on a simulated hierarchical dataset.
La segmentation hiérarchique d'image vise à capturer la structure d'objets de taille variées à différentes échelles et aide à la compréhension de la scène. Avec le succès des réseaux de neurones pour la segmentation d'image et l'émergence récente des jeux de données de segmentation d'objets et parties, le problème de l'apprentissage supervisé de segmentation hiérarchique survient naturellement. Dans un précédent travail, nous avons proposé une couche ultramétrique différentiable qui transforme une mesure de dissimilarité en une distance ultramétrique équivalente à une segmentation hiérarchique. Dans cet article, nous étudions plusieurs fonctions de coût pour l'apprentissage de bout en bout d'un modèle de réseau de neurones qui prédit des segmentations hiérarchiques. Plus particulièrement, nous proposons une généralisation du Rand index pour la segmentation hiérarchique, et apportons des algorithmes exacts et approximatifs pour le calculer. Nous introduisons de nouvelles métriques pour comparer des segmentations hiérarchiques, et démontrons la pertinence du pipeline proposé avec plusieurs combinaisons de fonctions de coût sur un jeu de données hiérarchique jouet.
Fichier principal
Vignette du fichier
DGMM_paper_2024_lapertot_camera_ready.pdf (653.56 Ko) Télécharger le fichier
Origine : Fichiers produits par l'(les) auteur(s)

Dates et versions

hal-04440600 , version 1 (06-02-2024)

Identifiants

  • HAL Id : hal-04440600 , version 1

Citer

Raphael Lapertot, Giovanni Chierchia, Benjamin Perret. End-to-end Ultrametric Learning for Hierarchical Segmentation. 2024. ⟨hal-04440600⟩
33 Consultations
39 Téléchargements

Partager

Gmail Facebook X LinkedIn More