Dynamique des systèmes cognitifs et des systèmes complexes - Archive ouverte HAL Accéder directement au contenu
Pré-Publication, Document De Travail Année : 2011

Dynamics of cognitive systems and complex systems

Dynamique des systèmes cognitifs et des systèmes complexes

Résumé

How memory information is represented is still an open question in neurobiology, but also, from the computer science point of view, in machine learning. Some artificial neuron networks models have to face the problem of retrieving information, knowing that, in regard to the model performance, this information is actually stored but in an unknown form or too complex to be easily accessible. This is one of the problems met in large neuron networks and which « reservoir computing » intends to answer.« Reservoir computing » is a category of models that has emerged at the same period as, and has propoerties similar to the model we present here. It is composed of three parts that are (1) an input layer that allows to inject learning examples, (2) a « reservoir » composed of neurons connected with or without a particular predefined, and where there can be adaptation mecanisms, (3) an output layer, called « readout », on which a supervised learning if performed. We bring a particularity that consists in using axonal delays, the propagation time of information from one neuron to another through an axonal connexion. Using delays is a computational improvement in the light of machin learning but also a biological argument for information representation.We show that our model is capable of a improvable but efficient and promising artificial learning. Based on this observation and in the aim of improving performance we seek to understand the internal dynamics of the model. More precisely we study how the topology of the reservoir can influence the dynamics. To do so, we make use of the theory of polychronous groups. We have developped complexe algorithms allowing us to detect those topologicodynamic structures in a network, and in a network activity having a given topology.If we succeed in understanding the links between topology and dynamics, we may take advantage of it to be able to create reservoir with specific properties, suited for learning. Finally, we have conducted an exhaustive study of network expressivness in terms of polychronous groups, based on various types of topologies (random, regular, small-world) and different parameters (number of neurones, conectivity, etc.). We are able to formulate some recommandations to create a network whose topology can be rich in terms of possible representations. We propose to link with the cognitive theory of multiple trace memory that can, in principle, be implemented and studied in the light of polychronous groups.
La représentation de l’information mnésique est toujours une question d’intérêt majeur en neurobiologie, mais également, du point de vue informatique, en apprentissage artificiel. Dans certains modèles de réseaux de neurones artificiels, nous sommes confrontés au dilemme de la récupération de l’information sachant, sur la base de la performance du modèle, que cette information est effectivement stockée mais sous une forme inconnue ou trop complexe pour être facilement accessible. C’est le dilemme qui se pose pour les grands réseaux de neurones et auquel tente de répondre le paradigme du « reservoir computing ».Le « reservoir computing » est un courant de modèles qui a émergé en même temps que le modèle que nous présentons ici. Il s’agit de décomposer un réseau de neurones en (1) une couche d’entrée qui permet d’injecter les exemples d’apprentissage, (2) un « réservoir » composé de neurones connectés avec ou sans organisation particulière définie, et dans lequel il peut y avoir des mécanismes d’adaptation, (3) une couche de sortie, les « readout », sur laquelle un apprentissage supervisé est opéré. Nous apportons toutefois une particularité, qui est celle d’utiliser les délais axonaux, temps de propagation d’une information d’un neurone à un autre. Leur mise en oeuvre est un apport computationnel en même temps qu’un argument biologique pour la représentation de l’information. Nous montrons que notre modèle est capable d’un apprentissage artificiel efficace et prometteur même si encore perfectible. Sur la base de ce constat et dans le but d’améliorer les performances nous cherchons à comprendre les dynamiques internes du modèle. Plus précisément nous étudions comment la topologie du réservoir peut influencer sa dynamique. Nous nous aidons pour cela de la théorie des groupes polychrones. Nous avons développé, pour l’occasion, des algorithmes permettant de détecter ces structures topologico-dynamiques dans un réseau, et dans l’activité d’un réseau de topologie donnée.Si nous comprenons les liens entre topologie et dynamique, nous pourrons en tirer parti pour créer des réservoirs adaptés aux besoins de l’apprentissage. Finalement, nous avons mené une étude exhaustive de l’expressivité d’un réseau en termes de groupes polychrones, en fonction de différents types de topologies (aléatoire, régulière, petit-monde) et de nombreux paramètres (nombre de neurones, connectivité, etc.). Nous pouvons enfin formuler un certain nombre de recommandations pour créer un réseau dont la topologie peut être un support riche en représentations possibles. Nous tentons également de faire le lien avec la théorie cognitive de la mémoire à traces multiples qui peut, en principe, être implémentée et étudiée par le prisme des groupes polychrones.
Fichier non déposé

Dates et versions

hal-01461587 , version 1 (08-02-2017)

Identifiants

  • HAL Id : hal-01461587 , version 1

Citer

Regis Martinez. Dynamique des systèmes cognitifs et des systèmes complexes : Étude du rôle des délais de transmission de l’information. 2011. ⟨hal-01461587⟩
259 Consultations
0 Téléchargements

Partager

Gmail Facebook X LinkedIn More