Towards the Tactile Discovery of Cultural Heritage with Multi-approach Segmentation
Vers une découverte tactile de l'héritage culturel avec une segmentation multi-approche
Résumé
This paper presents a new way to access visual information in
museums through tactile exploration, and related techniques to efficiently
transform visual data into tactile objects. Accessibility to cultural heritage and
artworks for people with visual impairments requires the segmentation of
images and paintings to extract and classify their contents into meaningful
elements which can then be presented through a tactile medium. In this paper,
we investigate the feasibility and how to optimize the tactile discovery of an
image. First, we study the emergence of image comprehension through tactile
discovery, using 3D-printed objects extracted from paintings. Later, we present
a dynamic Force Feedback Tablet (F2T) used to convey the 2D shape and
texture information of objects through haptic feedback. We then explore several
image segmentation methods to automate the extraction of meaningful objects
from selected artworks, to be presented to visually impaired people through the
F2T. Finally, we evaluate how to best combine the F2T’s haptic effects in order
to convey the extracted objects and features to the users, with the aim of
facilitating the comprehension of the represented objects and their affordances.
Ce papier présente une nouvelle façon d'accéder à l'information visuelle dans les musées à travers l'exploration tactile et les techniques relatives à la transformation efficace des données visuelles en objets tactiles. L'accessibilité à l'héritage culturel et aux œuvres d'art pour les personnes présentant des incapacités visuelles nécessite la segmentation des images et des peintures pour extraire et classifier leur contenu en éléments portant un sens qui peuvent être présentés tactilement. Dans ce papier, nous recherchons la faisabilité et l'optimisation d'une découverte tactile d'une image. Dans un premier temps, nous étudions l'émergence de la compréhension d'images par le toucher à l'aide d'objets imprimés en 3D extraits de peintures. Plus tard, nous présentons une tablette à retour de force dynamique (F2T) utilisée pour transmettre la forme 2D et la texture des objets grâce à la rétroaction haptique. Nous explorons ensuite plusieurs méthodes de segmentation d'images pour automatiser l'extraction d'éléments significatifs d'œuvres d'art sélectionnées, à présenter aux personnes malvoyantes à travers la tablette F2T. Enfin, nous évaluons comment combiner au mieux les effets haptiques de F2T afin de transmettre aux utilisateurs les éléments et leurs caractéristiques extraites, dans le but de faciliter la compréhension des objets représentés et leur présentation de façon intuitive.