Optical flow estimation from event-based data using spiking neural networks
Estimation du flux optique à partir des données issues des capteurs événementiels avec des réseaux de neurones impulsionnels
Résumé
This PhD project seeks to develop an arficial vision model exploing event data for opcal flow esmaon within the visual scene.
The project lies on three main axis: first, opcal flow, a magnitude linked at the same me to depth and to relave movement between the observer
and the world around it. This magnitude represents the velocity field distribuon within the visual scene, and it is key for navigaon in living animals.
It is currently being heavily researched because of its potenal applicaons in new technologies such as autonomous cars.
Second, event cameras are a bio-inspired sensor with asynchronous pixels yielding real-me informaon on local luminosity variaons: brightness
increments trigger posive events, and negave events are caused by luminosity decrements. It is indeed this temporal informaon that makes
event cameras appropriate for computer vision tasks, specially for temporal tasks such as opcal flow esmaon. This type of camera presents a
number of advantages over their frame-based counterparts: lower latency, higher dynamic range and lower energy consumpon. This advantages
are somewhat migated by a lower spaal resoluon, as well as by the lack of informaon on absolute brightness within the scene.
Finally, spiking neural networks (SNNs) are consist of deep learning algorithms using bio-inspired neurons. Spiking neurons show memory
capabilies inherent to their membrane potenal, and they only propagate informaon when this potenal surpasses a certain value (firing
threshold). These neurons are characterized by their energy efficiency when deployed on dedicated hardware, since a lack of input informaon
translates into an absence of spikes within the model (provided that there are no biases in the model’s layers), and therefore into a very low energy
consumpon. The triad opcal flow – event vision – spiking neural networks is therefore a closed and coherent system: movement-linked sensors
(with lack of events for stac scenes), processed with bio-inspired neurons showing the same behavior, and all of this applied to the esmaon of a
temporal magnitude such as opcal flow.
Our research works started with the development of a SNN capable of esmang opcal flow from event data. Our results were published in may
2023 in Froners in Neuroscience, introducing the best SNN in the literature for this task. Our model, which can be found on hps://github.com/J-
Cuadrado/OF
EV
_
_
SNN, consists of a stateless SNN able to exploit temporal informaon from event data via convoluons along a temporal
dimension for a beer representaon of temporal encoding at the boleneck level, increasing its effecve recepve field.
We have connued our research by seeking to integrate grayscale images into a more complex architecture to improve the model’s performance.
Although our results are encouraging, we have so far been unable to consistently beat our previous best results. Thus, is possible that the
informaon present in frame-based sequences might not be needed for opcal flow esmaon when coupled with event data. We are therefore
going to connue pursuing this line of research, either to test this hypothesis, or to eventually succeed in improving the model’s metrics thanks to
the exploitaon of bimodal informaon.
Ces travaux de thèse ont pour but le développement d’un modèle de vision arficielle prenant des données issues d’une caméra basée sur
des événements pour l’esmaon du flux opque dans la scène visuelle.
Ce projet repose donc sur trois piliers : premièrement, le flux opque, grandeur associée à la fois à la profondeur et au déplacement relaf entre
l’observateur et le monde autour de lui, et qui représente la distribuon du champ de vitesses dans la scène visuelle. Cee grandeur, d’importance
clé pour la navigaon des animaux, est de plus en plus recherchée en vue de ses potenelles applicaons dans de nouvelles technologies telles que
les voitures autonomes.
Deuxièmement, les caméras basées sur des événements (EC), un type de capteur bio-inspiré dont les pixels fournissent une informaon sur les
variaons locales de la luminosité de façon asynchrone et en temps réel : une augmentaon locale de la luminosité déclencherait un événement
posif au pixel concerné, tandis qu’une diminuon de la luminosité déclencherait un événement négaf. C’est en effet cee informaon temporelle
qui rend les EC aussi intéressantes en tant que capteur pour la vision arficielle, et notamment pour des tâches temporelles telle que l’esmaon du
flux opque. Ce type de capteurs présente certains avantages par rapport aux caméras convenonnelles : latence inférieure, gamme dynamique très
large et efficacité énergéque. Ces avantages sont migés par une résoluon spaale inférieure, ainsi que par un manque d’informaon sur la
luminosité absolue dans la scène.
Finalement, les réseaux de neurones impulsionnels (SNN) sont des algorithmes d’apprenssage profond composé de neurones bio-inspirées. D’une
part les neurones impulsionnels sont dotés d’une mémoire au niveau de leur potenel de membrane, d’autre part l’informaon n’est propagée que
quand ce potenel dépasse un certain seuil. Ces neurones sont caractérisés par leur efficacité énergéque quand déployés sur des puces dédiées, car
une absence d’informaon se traduit dans une absence d’impulsions, et par conséquent dans une très faible consommaon énergéque. Ainsi, la
triade flux opque – EC – SNN se présente comme un système fermé et cohérent : des capteurs liés au mouvement (avec absence d’informaon si le
déplacement relaf est nul), avec des neurones bio-inspirés à propriétés similaires, et tout cela appliqué pour l’esmaon d’une grandeur
essenellement liée à la temporalité du mouvement.
Nos travaux ont commencé par le développement d’un SNN capable d’esmer le flux opque à parr des données issues des EC. Finalement, nos
efforts ont abou à une publicaon en mai 2023 dans Froners en Neuroscience, introduisant le meilleur SNN de l’état de l’art pour cee tâche.
Notre modèle, disponible dans hps://github.com/J-Cuadrado/OF
EV
_
_
SNN, présente un SNN sans mémoire capable d’exploiter la temporalité des
données évènemenelles grâce à des convoluons le long de la dimension temporelle pour une représentaon améliorée de cee informaon au
niveau du boleneck en augmentant son champ récepteur effecf.
Nous avons connué nos travaux avec une étude sur l’intégraon des images en niveau de gris dans un modèle plus complexe pour améliorer les
performances du modèle. Bien que nos résultats aient été encourageants jusqu’à présent, nous n’avons pas encore réussi à systemaquement
bare nos meilleurs résultats. Ainsi, il s’avère que l’informaon contenue dans des images standard pourrait en effet ne pas être nécessaire pour
l’esmaon du flux opque. Par conséquent, nous allons poursuivre nos travaux sur cee ligne de recherche, soit po
| Origine | Fichiers produits par l'(les) auteur(s) |
|---|