Supervised Learning of Hierarchical Image Segmentation - Archive ouverte HAL Accéder directement au contenu
Communication Dans Un Congrès Année : 2023

Supervised Learning of Hierarchical Image Segmentation

Apprentissage supervisé de segmentation hiérarchique d'image

Résumé

We study the problem of predicting hierarchical image segmentations using supervised deep learning. While deep learning methods are now widely used as contour detectors, the lack of image datasets with hierarchical annotations has prevented researchers from explicitly training models to predict hierarchical contours. Image segmentation has been widely studied, but it is limited by only proposing a segmentation at a single scale. Hierarchical image segmentation solves this problem by proposing segmentation at multiple scales, capturing objects and structures at different levels of detail. However, this area of research appears to be less underexplored and therefore no hierarchical image segmentation dataset exists. In this paper, we provide a hierarchical adaptation of the Pascal-Part dataset [2], and use it to train a neural network for hierarchical image segmentation prediction. We demonstrate the efficiency of the proposed method through three benchmarks: the precision-recall and F-score benchmarks for boundary location, the level recovery fraction for assessing hierarchy quality, and the false discovery fraction. We show that our method successfully learns hierarchical boundaries in the correct order, and achieves better performance than the state-of-the-art model trained on single-scale segmentations.
Nous étudions le problème de la prédiction des segmentations d'images hiérarchiques à l'aide de l'apprentissage profond supervisé. Bien que les méthodes d'apprentissage profond soient désormais largement utilisées comme détecteurs de contours, le manque d'ensembles de données d'images avec des annotations hiérarchiques a empêché les chercheurs d'entraîner explicitement des modèles pour prédire les contours hiérarchiques. La segmentation d'images a été largement étudiée, mais elle est limitée par le fait qu'elle ne propose qu'une segmentation à une seule échelle. La segmentation hiérarchique des images résout ce problème en proposant une segmentation à plusieurs échelles, capturant les objets et les structures à différents niveaux de détail. Toutefois, ce domaine de recherche semble moins bien exploré et il n'existe donc pas d'ensemble de données de segmentation hiérarchique d'images. Dans cet article, nous proposons une adaptation hiérarchique de l'ensemble de données Pascal-Part [2] et l'utilisons pour entraîner un réseau neuronal à la prédiction de la segmentation hiérarchique des images. Nous démontrons l'efficacité de la méthode proposée à l'aide de trois critères : les critères de précision-rappel et de score F pour la localisation des limites, la fraction de récupération des niveaux pour évaluer la qualité de la hiérarchie et la fraction de fausses découvertes. Nous montrons que notre méthode apprend avec succès les niveaux hiérarchiques dans le bon ordre et qu'elle obtient de meilleures performances que le modèle de pointe formé sur des segmentations à échelle unique.
Fichier principal
Vignette du fichier
CIAPR_2023_final.pdf (3.37 Mo) Télécharger le fichier
Origine : Fichiers produits par l'(les) auteur(s)

Dates et versions

hal-04205711 , version 1 (13-09-2023)
hal-04205711 , version 2 (06-10-2023)

Identifiants

Citer

Raphael Lapertot, Giovanni Chierchia, Benjamin Perret. Supervised Learning of Hierarchical Image Segmentation. 26th Iberoamerican Congress on Pattern Recognition (CIARP), Instituto Superior de Educação e Ciências (ISEC), Nov 2023, Coimbra (Portugal), Portugal. pp.201-213, ⟨10.1007/978-3-031-49018-7_15⟩. ⟨hal-04205711v2⟩
94 Consultations
91 Téléchargements

Altmetric

Partager

Gmail Facebook X LinkedIn More