Towards the Tactile Discovery of Cultural Heritage with Multi-approach Segmentation - Archive ouverte HAL Accéder directement au contenu
Chapitre D'ouvrage Année : 2020

Towards the Tactile Discovery of Cultural Heritage with Multi-approach Segmentation

Vers une découverte tactile de l'héritage culturel avec une segmentation multi-approche

Résumé

This paper presents a new way to access visual information in museums through tactile exploration, and related techniques to efficiently transform visual data into tactile objects. Accessibility to cultural heritage and artworks for people with visual impairments requires the segmentation of images and paintings to extract and classify their contents into meaningful elements which can then be presented through a tactile medium. In this paper, we investigate the feasibility and how to optimize the tactile discovery of an image. First, we study the emergence of image comprehension through tactile discovery, using 3D-printed objects extracted from paintings. Later, we present a dynamic Force Feedback Tablet (F2T) used to convey the 2D shape and texture information of objects through haptic feedback. We then explore several image segmentation methods to automate the extraction of meaningful objects from selected artworks, to be presented to visually impaired people through the F2T. Finally, we evaluate how to best combine the F2T’s haptic effects in order to convey the extracted objects and features to the users, with the aim of facilitating the comprehension of the represented objects and their affordances.
Ce papier présente une nouvelle façon d'accéder à l'information visuelle dans les musées à travers l'exploration tactile et les techniques relatives à la transformation efficace des données visuelles en objets tactiles. L'accessibilité à l'héritage culturel et aux œuvres d'art pour les personnes présentant des incapacités visuelles nécessite la segmentation des images et des peintures pour extraire et classifier leur contenu en éléments portant un sens qui peuvent être présentés tactilement. Dans ce papier, nous recherchons la faisabilité et l'optimisation d'une découverte tactile d'une image. Dans un premier temps, nous étudions l'émergence de la compréhension d'images par le toucher à l'aide d'objets imprimés en 3D extraits de peintures. Plus tard, nous présentons une tablette à retour de force dynamique (F2T) utilisée pour transmettre la forme 2D et la texture des objets grâce à la rétroaction haptique. Nous explorons ensuite plusieurs méthodes de segmentation d'images pour automatiser l'extraction d'éléments significatifs d'œuvres d'art sélectionnées, à présenter aux personnes malvoyantes à travers la tablette F2T. Enfin, nous évaluons comment combiner au mieux les effets haptiques de F2T afin de transmettre aux utilisateurs les éléments et leurs caractéristiques extraites, dans le but de faciliter la compréhension des objets représentés et leur présentation de façon intuitive.

Dates et versions

hal-03380390 , version 1 (15-10-2021)

Identifiants

Citer

Katerine Romeo-Pakker Romeo, Ali Souradi, Christele Lecomte, Simon Gay, Marc-Aurele Riviere, et al.. Towards the Tactile Discovery of Cultural Heritage with Multi-approach Segmentation. Abderrahim El Moataz, Driss Mammass, Alamin Mansouri, Fathallah Nouboud. Image and Signal Processing, 12119, Springer International Publishing, pp.14-23, 2020, Lecture Notes in Computer Science, ⟨10.1007/978-3-030-51935-3_2⟩. ⟨hal-03380390⟩
34 Consultations
0 Téléchargements

Altmetric

Partager

Gmail Facebook X LinkedIn More