A Structuralist Formal Account of Sensorimotor Contingencies in Perception - Archive ouverte HAL Accéder directement au contenu
Thèse Année : 2022

A Structuralist Formal Account of Sensorimotor Contingencies in Perception

Un approche formelle structuraliste des contingences sensorimotrices dans la perception

Résumé

The classical approach to perception revolves about a bottom up paradigm where it is the result of applying feature extraction and information processing techniques on the raw flow supplied by sensors. It is quite famously illustrated by the ``Sense, Plan, Act'' triptych in the field of robotics. Seeing as one generally has precise knowledge of the implementation of their robots, this approach leverages a priori modelisation (of the body of the agent, of its interaction with its environment...) by which to interpret and process the sensory flow. However, the self-evident aspect of this knowledge is naturally questioned when one chooses to focus on the development process of autonomous agents. In this particular context, one must instead search for perception (and where applicable for the models themselves) in the raw sensory data. One such theory of perception, introduced by O'Regan and Noë in 2001, is that of Sensorimotor Contingencies (SMCT). It posits that perception is precisely the skillful exercise of certain discovered regularities (the aforementioned contingencies) present in the sensorimotor flow. Importantly, it imparts crucial importance on the role of voluntary motor action in the emergence of perception; it therefore falls under the paradigms of (Inter)active perception. Since, several works have set out to test and exploit some of the insights it provides in robotic settings. This thesis aims to expand these and propose a formalism suitable to the study of SMCT in robotic contexts. We therefore study how a ``naive'' agent can be made to discover structural contingencies regulating its sensorimotor flow, and how this discovery mediates ``perception''. Perhaps as importantly, we carefully examine what the previous ``naive'' and ``structural'' qualifiers denote on a formal level. The goal doing so is to provide rigorous grounds to SMCT in robotics, especially in its focus on bootstrapping perceptual processes. It starts with the exposition of our new formalism, making explicit how it relates to and generalizes previous works. We then employ it to study the structure of shifts of receptive fields that occur during motion of the agent. In particular we show that they can be leveraged by a naive agent via sensory prediction, and doing so they allow for discovering the structure of sequences of displacements; we also show that the algebraic language of (semi)groups provides a natural setting for such study. We then turn to addressing the issue of subjective continuity in sensorimotor experiences, that is investigating where this feeling of continuity can arise from. Developing insight from topology, which we show is unable to capture such phenomena, we show how metric geometry can be made to characterize ``typical'' sensorimotor events. This allows our agent to assess the regularity of its experience in a quantitative sense, subsequently paving the way for much desired robustness and scalability properties.
L'approche classique de la perception tourne autour d'un paradigme ascendant où elle est le résultat de l'application de techniques d'extraction de caractéristiques et de traitement de l'information sur le flux brut fourni par les capteurs. Elle est illustrée de manière assez célèbre par le triptyque "sentir, planifier, agir" dans le domaine de la robotique. Comme on a généralement une connaissance précise de l'implémentation de ses robots, cette approche s'appuie sur une modélisation a priori (du corps de l'agent, de son interaction avec son environnement...) pour interpréter et traiter le flux sensoriel. Cependant, l'aspect évident de ces connaissances est naturellement remis en question lorsque l'on choisit de se concentrer sur le processus de développement d'agents autonomes. Dans ce contexte particulier, il faut plutôt chercher la perception (et le cas échéant les modèles eux-mêmes) dans les données sensorielles brutes. Une telle théorie de la perception, introduite par O'Regan et Noë en 2001, est celle des contingences sensorimotrices (SMCT). Elle postule que la perception est précisément la conséquence de certaines régularités découvertes (les contingences susmentionnées) présentes dans le flux sensorimoteur. Elle confère une importance cruciale au rôle de l'action motrice volontaire dans l'émergence de la perception ; elle s'inscrit donc dans les paradigmes de la perception (inter)active. Depuis, plusieurs travaux ont cherché à tester et à exploiter certaines des perspectives qu'elle offre dans des contextes robotiques. Cette thèse vise à les étendre et à proposer un formalisme adapté à l'étude du paradigme SMCT dans des contextes robotiques. Nous étudions donc comment un agent "naïf" peut être amené à découvrir des contingences structurelles régulant son flux sensorimoteur, et comment cette découverte médiatise la "perception". D'une manière peut-être aussi importante, nous examinons soigneusement ce que les qualificatifs précédents de "naïf" et "structurel" dénotent sur le plan formel. Le but de cette démarche est de fournir des bases rigoureuses à l'approche SMCT en robotique, en particulier en ce qui concerne la mise en place de processus perceptifs. Nous commençons par exposer notre nouveau formalisme, en explicitant comment il se rapporte aux travaux précédents et les généralise. Nous l'utilisons ensuite pour étudier la structure des déplacements de champs récepteurs qui se produisent pendant le mouvement de l'agent. En particulier, nous montrons qu'ils peuvent être exploités par un agent naïf via la prédiction sensorielle, et ce faisant, ils permettent de découvrir la structure des séquences de déplacements ; nous montrons également que le langage algébrique des (semi-)groupes fournit un cadre naturel pour une telle étude. Nous abordons ensuite la question de la continuité subjective dans les expériences sensorimotrices, c'est-à-dire que nous cherchons à savoir d'où peut provenir ce sentiment de continuité. En nous inspirant de la topologie, dont nous montrons qu'elle est incapable de saisir de tels phénomènes, nous montrons comment la géométrie métrique peut être utilisée pour caractériser les événements sensorimoteurs "typiques". Cela permet à notre agent d'évaluer la régularité de son expérience dans un sens quantitatif, ouvrant ainsi la voie aux propriétés de robustesse et d'évolutivité tant souhaitées.
Fichier principal
Vignette du fichier
godon.pdf (7.85 Mo) Télécharger le fichier
Origine : Fichiers produits par l'(les) auteur(s)

Dates et versions

tel-04000131 , version 1 (22-02-2023)

Identifiants

  • HAL Id : tel-04000131 , version 1

Citer

Jean-Merwan Godon. A Structuralist Formal Account of Sensorimotor Contingencies in Perception. Automatic. Sorbonne Université, 2022. English. ⟨NNT : ⟩. ⟨tel-04000131⟩
49 Consultations
18 Téléchargements

Partager

Gmail Facebook X LinkedIn More