Thèse Année : 2025

Sparsity optimization in spike neural networks for embedded event-vision processing

Optimisation de la sparsité dans les réseaux de neurones à impulsion pour le traitement de données événementielles

Résumé

This thesis investigates Spiking Neural Networks (SNNs) for event-based data processing in embedded applications where systems operate under strict energy constraints, with a particular focus on space applications. While Formal Artificial Neural Networks (FNNs) have demonstrated remarkable capabilities in complex data processing, their high energy requirements often limit their use in embedded platforms. Neuromorphic computing, inspired by the brain's architecture, presents a promising alternative. The human brain processes complex information efficiently with about 20W and a computational density of 0.01W/cm², while conventional processors require 50-100W/cm². SNNs emulate this efficiency through event-driven, spike-based communication, processing information sparsely and asynchronously. Combined with event-based cameras that only capture and transmit significant light changes in the environment, these networks offer potential advantages for low-power processing applications with interesting capacities for space applications. This research develops a comprehensive workflow for designing and evaluating embedded SNNs on neuromorphic hardware. The main contribution aims to evaluate the feasibility of complex tasks such as object detection and pose estimation for space applications using neuromorphic event-based approaches, an unexplored research area at this level of complexity. Faced with this novelty, our work methodically progresses through all stages of SNN implementation. We begin by defining fundamental components, including a hardware-agnostic metric for evaluating SNN energy efficiency compared to FNNs. Results demonstrate that SNNs can achieve a 6-8× energy reduction compared to equivalent FNNs while maintaining comparable accuracy, with energy consumption for memory access dominating total consumption. This provides a crucial guideline to design future solutions. Building on this foundation, we are contributing to the extension of QUALIA, an OpenSource end-to-end framework for designing, training, quantizing, and deploying neural networks (FNN and SNN) on various platforms (CPU, microcontroller, FPGA). QUALIA bridges the gap between high-level specifications for neural networks and hardware implementations, supporting PyTorch-based SNN development and integrating SPLEAT, a configurable FPGA-based neuromorphic accelerator. The toolchain is complemented by QUALIABENCH, an automation solution that democratizes access to neuromorphic technologies by enabling systematic deployment and evaluation of networks on target hardware without in-depth hardware knowledge.Progressing from simple to complex implementations, we push the boundaries of SNNs on neuromorphic hardware. The object detection solution deployed on the SPLEAT platform achieves 46% faster inference with a threefold improvement in energy efficiency compared to CPU-only execution, demonstrating the feasibility of implementing complex SNN architectures on reconfigurable platforms. We also explore the feasibility of two methods for satellite pose estimation: direct event-based monocular 6D pose estimation and keypoint prediction for indirect estimation with a Unet-type architecture. These advanced applications demonstrate that combining SNNs and event-based sensors constitutes a viable approach for energy-efficient processing in constrained space environments, with potential applications in autonomous navigation, object detection and situation awareness.

Cette thèse étudie les Réseaux de Neurones à Impulsion (SNN) pour le traitement de données événementielles dans des applications embarquées où les systèmes fonctionnent sous des contraintes énergétiques strictes, avec une orientation vers les applications spatiales. Si les Réseaux de Neurones Artificiels Formels (FNN) ont démontré des capacités remarquables dans le traitement de données complexes, leurs besoins énergétiques élevés limitent souvent leur utilisation dans ce type de plateformes. Le calcul neuromorphique, inspiré de l'architecture du cerveau, représente une alternative prometteuse. Le cerveau humain traite efficacement des informations complexes à environ 20W avec une densité de calcul de 0,01W/cm², contre 50-100W/cm² pour les processeurs conventionnels. Les SNN émulent cette efficacité grâce à une communication événementielle à base d'impulsions, traitant l'information de manière éparse et asynchrone. Associés à des caméras événementielles qui transmettent uniquement les variations lumineuses significatives de l'environnement, ces réseaux offrent des avantages potentiels pour les applications de traitement d'image à faible consommation avec des capacités intéressantes pour les applications spatiales. Cette thèse développe une méthodologie complète pour la conception et l'évaluation des SNN embarqués sur du matériel neuromorphique. La contribution principale vise à évaluer la faisabilité de tâches complexes comme la détection d'objets et l'estimation de pose pour applications spatiales avec des approches neuromorphiques événementielles, un domaine de recherche inexploré à ce niveau de complexité. Face à cette nouveauté, notre travail progresse méthodiquement à travers toutes les étapes d'implémentation des SNN. Nous commençons par établir une métrique indépendante du matériel pour évaluer l'efficacité énergétique des SNN par rapport aux FNN. Les résultats démontrent que les SNN peuvent atteindre une réduction énergétique de 6 à 8 fois comparée aux FNN équivalents tout en maintenant une précision comparable, l'énergie d'accès à la mémoire dominant la consommation totale. Cela fournit une base cruciale pour la conception de futures solutions. Sur cette base, nous contribuons à l'extension de QUALIA, un framework OpenSource pour concevoir, entraîner, quantifier et déployer des réseaux de neurones (FNN et SNN) sur diverses plateformes (CPU, microcontrôleur, FPGA). QUALIA comble le fossé entre les spécifications de haut niveau et les implémentations matérielles, supportant le développement de SNN basé sur PyTorch et intégrant SPLEAT, un accélérateur neuromorphique configurable sur FPGA. La chaîne d'outils est complétée par QUALIABENCH, une solution d'automatisation qui démocratise l'accès aux technologies neuromorphiques en permettant un déploiement et une évaluation systématiques des réseaux sur cible sans connaissances approfondies en matériel. Progressant des implémentations simples aux plus complexes, nous repoussons les limites des SNN sur du matériel neuromorphique. La solution de détection d'objets déployée sur la plateforme SPLEAT atteint une inférence 46% plus rapide avec une amélioration triple de l'efficacité énergétique par rapport à l'exécution sur CPU seule, démontrant la faisabilité de l'implémentation d'architectures SNN complexes sur des plateformes reconfigurables. Nous explorons également la faisabilité de deux méthodes pour l'estimation de pose pour satellites : l'estimation de pose 6D monoculaire événementielle directe et la prédiction de points-clés pour l'estimation indirecte avec une architecture type Unet. Ces applications avancées démontrent que la combinaison des SNN et des capteurs événementiels constitue une approche viable pour un traitement économe en énergie dans des environnements spatiaux contraints, avec des applications potentielles en navigation autonome, détection d'objets et surveillance de l'environnement.

Fichier principal
Vignette du fichier
2025COAZ4030.pdf (26.9 Mo) Télécharger le fichier
Origine Version validée par le jury (STAR)
Licence

Dates et versions

tel-05535948 , version 1 (04-03-2026)

Licence

Identifiants

  • HAL Id : tel-05535948 , version 1

Citer

Jonathan Courtois. Sparsity optimization in spike neural networks for embedded event-vision processing. Neural and Evolutionary Computing [cs.NE]. Université Côte d'Azur, 2025. English. ⟨NNT : 2025COAZ4030⟩. ⟨tel-05535948⟩
103 Consultations
41 Téléchargements

Partager

  • More