Méthode et système d’assistance à la navigation de personne basés sur la perception sonore d’une scène visuelle - Archive ouverte HAL
Theses Year : 2024

Navigation assistive method and system for people based on real-time auditory perception of visual scenes

Méthode et système d’assistance à la navigation de personne basés sur la perception sonore d’une scène visuelle

Abstract

The perception and analysis of a visual scene are actions easily performed by humans. The inability to acquire visual information, which is particularly rich, thus represents a significant handicap. Substituting relevant information from the visual domain into an auditory space helps mitigate this deficiency by perceiving a portion of the missing information. This thesis proposes the use of vision and artificial intelligence to address this challenge. The work presents a method for analysing visual information and converting vision into sound, implemented at the core of a mobility aid system for visually impaired people. The access to crucial information to reach a desired destination, such as the trajectory to follow and the surrounding obstacles, is encoded within adapted sound signals. The device, evaluated across urban spaces, provides an effective means for visually impaired individuals to move autonomously and safely without requiring external assistance to reach a desired location. Moreover, the developed system ensures real-time access to critical information with minimal latency, independent of external connections. This performance, achieved through an optimised implementation on a hardware architecture with moderate energy consumption, thus guarantees significant autonomy and enhanced robustness of the system.
La perception et l’analyse d’une scène visuelle sont des actions réalisées avec facilité par l’être humain. L'incapacité d'acquérir des informations visuelles, particulièrement riches, représente ainsi un lourd handicap. La substitution d’informations pertinentes issues du domaine visuel dans un espace sonore permet d’atténuer cette défiance en percevant une partie de l’information manquante. Cette thèse propose l’utilisation de la vision et intelligence artificielle pour résoudre de ce challenge. Ces travaux présentent une méthode d'analyse de l'information visuelle et de conversion de la vision en audition, implantée au cœur d’un système d'aide à la mobilité des personnes malvoyantes. L’accès aux informations fondamentales lors d’un déplacement pour rejoindre une destination, telles que la trajectoire à suivre ou les obstacles environnants définis à l’aide d’information visuelle artificielle, sont encodées au sein de signaux sonores adaptés. Le dispositif, évalué à travers des espaces urbains, offre un moyen efficace pour les personnes malvoyantes de se déplacer de manière autonome et sûre sans nécessiter d’assistance extérieure pour atteindre un lieu désiré. En outre, le système développé assure un accès en temps réel aux informations cruciales avec une latence minimale, sans dépendre de connexions externes. Cette performance, obtenue par une implémentation optimisée sur une architecture matérielle avec une consommation énergétique modérée, garantie ainsi une autonomie importante et une robustesse améliorée du système.
Fichier principal
Vignette du fichier
These___Scalvini_Florian.pdf (26.28 Mo) Télécharger le fichier
Origin Files produced by the author(s)

Dates and versions

tel-04613467 , version 1 (16-06-2024)

Identifiers

  • HAL Id : tel-04613467 , version 1

Cite

Florian Scalvini. Méthode et système d’assistance à la navigation de personne basés sur la perception sonore d’une scène visuelle. Informatique [cs]. UBFC - Université de Bourgogne Franche-comté, 2024. Français. ⟨NNT : ⟩. ⟨tel-04613467⟩
61 View
16 Download

Share

More