Modpuls : modélisation de la perception de la synchronisation par réseaux de neurones impulsionnels - Archive ouverte HAL
Poster De Conférence Année : 2023

Modpuls : modélisation de la perception de la synchronisation par réseaux de neurones impulsionnels

Théo Velletaz
Patrice Guyot
Sébastien Harispe
Stefan Janaqi

Résumé

La temporalité des informations est déterminante pour notre compréhension du monde, notamment dans le cas de l’audition, de la vision, ou de la réalisation de mouvements. La synchronisation temporelle de certains évènements guide notre perception dans de nombreuses tâches. Par exemple, la perception de la parole est améliorée par la perception synchronisée d’indices visuels comme le mouvement des lèvres. La synchronisation motrice sociale repose quant à elle sur la capacité à coupler un mouvement avec des indices, généralement visuels ou sonores tels que les applaudissements dans une audience. L’étude de la coordination motrice se révèle également utile dans le milieu médical pour diagnostiquer de manière précoce et non invasive des maladies telles que la schizophrénie. Certains réseaux de neurones artificiels spécifiques, dits impulsionnels, sont particulièrement proches des réseaux de neurones biologiques. Leur structure leur permet naturellement et de manière non supervisée d’encoder des dynamiques et de détecter si des signaux sont synchronisés. Le projet ModPuls propose d’étudier les possibilités et les limites de l’utilisation des réseaux de neurones impulsionnels pour l’analyse de données temporelles liées au mouvement humain, dans des conditions individuelles ou sociales, et en présence de musique. Pour ce faire, nous spécifions une expérience impliquant plusieurs utilisateurs percevant le tempo musical selon plusieurs modalités (auditive et/ou visuelle par l’intermédiaire des autres danseurs). Les mouvements des danseurs sont captés ainsi que les caractéristiques dynamiques de la musique. Un prétraitement est utilisé pour transformer ces données d’entrée en train d’impulsions, qui sont ensuite analysés par un ensemble de neurones qui s’activeront lorsque des synchronisations sont détectées. Ce modèle permettra d’évaluer la capacité d’un réseau de neurone simple à détecter la synchronisation issue de données complexes. Plus généralement l’étude du comportement et de l’apprentissage de ces neurones pourrait améliorer notre compréhension de l’apprentissage de la synchronisation des perceptions chez l’humain.
Fichier principal
Vignette du fichier
Poster_final.pdf (1.26 Mo) Télécharger le fichier
Origine Fichiers produits par l'(les) auteur(s)

Dates et versions

hal-04320233 , version 1 (04-12-2023)

Identifiants

  • HAL Id : hal-04320233 , version 1

Citer

Théo Velletaz, Patrice Guyot, Sébastien Harispe, Stefan Janaqi. Modpuls : modélisation de la perception de la synchronisation par réseaux de neurones impulsionnels. Journées Perception Sonore 2023, Nov 2023, Paris, France. , 2023. ⟨hal-04320233⟩
113 Consultations
60 Téléchargements

Partager

More