Scene perception by a muti-sensor system application to navigation in structured interior environments
Perception de scène par un système multi-capteurs, application à la navigation dans des environnements d'intérieur structuré
Résumé
This thesis falls within the framework of perceptual navigation. Our goal is to study and design an interpretation system for indoor environment scenes, observed by a multi-sensor system that combines ultrasonic sensors and RGB camera. The proposed system can be used to equip smart device for assisting blind people, or for robot operating in furnished spaces. In a scene interpretation system, the acquisitions made by the sensors present real world restrictions and are affected by imperfections, which should be taken into account rather than ignored. Their inclusion in our interpretation system was carried out by using the possibility theory when modeling the acquired data. The adopted models are possibility distributions. The analysis and interpretation of the acquired scene was then based on this possibilistic knowledge. The navigation aid system proposed in this work describes the surrounding scene according to a simplistic model, and divides the intercepted field by the sensors into three main areas, namely: front, left and right. It provides the user with information about the distance between him and the detected objects, the material rigidity of these objects, as well as their position in the scene (object on the left, object in front, object on the right). The performance of the proposed interpretation system is evaluated using the "NA_System" prototype, developed by the "Cybernics team" of the "CEM_Lab" laboratory of the National Engineering School of Sfax (ENIS). The obtained results are encouraging and show the effectiveness of the possibility theory as a framework for representing data acquired from different sensors. The proposed scene interpretation strategy has been proved to be effective in inte grating information from multiple knowledge sources. In the data processing chain for scene analysis and interpretation, new approaches are proposed, especially in attribute selection, salient object detection, classification, fusion and registration data from two sources.
Cette thèse s’inscrit dans le cadre de la navigation perceptuelle. Notre objectif est d’étudier et de concevoir un système d’interprétation d’une scène d’environnement intérieur, observée par un système multi-capteurs réunissant un capteur ultrason et une caméra RVB. Le système proposé peut être employé pour équiper un dispositif intelligent d’assistance aux non voyants, ou encore un robot opérant dans des espaces meublés. Dans un système d’interprétation de scène, les acquisitions faites par les capteurs, présentent des restrictions du monde réel et se trouvent affectées d’imperfections, qu’il convient de prendre en compte au lieu de les ignorer. Leur prise en compte dans notre système d’interprétation a été effectuée par l’emploi de la théorie des possibilités lors de la modélisation des données acquises. Les modèles adoptés sont des distributions de possibilités. L’analyse et l’interprétation de la scène acquise s’est en suite basée sur ces connaissances possibilistes. Le système d’aide à la navigation proposé dans ce travail, présente une description de la scène environnante selon un modèle simpliste, partageant le champ intercepté par les capteurs en trois zones majeures, à savoir : face, gauche et droite. Il fournit à l’utilisateur des informations concernant la distance qui le sépare des objets détectés, la rigidité matérielle de ces objets, ainsi que leur positionnement dans la scène (objet à gauche, objet en face, objet à droite). Les performances du système d’interprétation proposé sont évaluées en utilisant le prototype "NA_System", développé par l’équipe "Cybernics team" du laboratoire "CEM_Lab" de l’École nationale d’ingénieurs de Sfax (ENIS). Les résultats obtenus sont encourageants et montrent l’efficacité de la théorie des possibilités comme cadre de représentation de données acquises de différents capteurs. La stratégie d’interprétation de scène proposée s’est montrée efficace pour intégrer les informations issues de multiples sources de connaissances. Dans la chaine de traitement de données adoptées pour l’analyse et l’interprétation de la scène, de nouvelles approches ont été proposées, notamment pour la sélection d’attributs, la détection d’objets saillants, la classification, la fusion et le recalage de données issues de deux sources.
Domaines
Modélisation et simulation| Origine | Version validée par le jury (STAR) |
|---|