Event-driven nearshore and shoreline coastline detection on SpiNNaker neuromorphic hardware
La détection de la côte près du rivage et du littoral basée sur des événements avec le matériel neuromorphique SpiNNaker
Résumé
Coastline detection is vital for coastal management, involving frequent observation and assessment to understand coastal dynamics and inform decisions on environmental protection. Continuous streaming of highresolution images demands robust data processing and storage solutions to manage large datasets efficiently, posing challenges that require innovative solutions for real-time analysis and meaningful insights extraction. This work leverages low-latency event-based vision sensors coupled with neuromorphic hardware in an attempt to decrease a two-fold challenge, reducing the computational burden to ∼0.375 mW whilst obtaining a coastline detection map in as little as 20 ms. The proposed Spiking Neural Network (SNN) runs on the SpiNNaker neuromorphic platform using a total of 18040 neurons reaching 98.33 % accuracy. The model has been characterised and evaluated by computing the accuracy of Intersection over Union (IoU) scores over the ground truth of a real-world coastline dataset across different time windows. The system's robustness was further assessed by evaluating its ability to avoid coastline detection in non-coastline profiles and funny shapes, achieving a success rate of 97.3 %.
La détection du littoral est essentielle pour la gestion côtière, impliquant une observation et une évaluation fréquentes afin de comprendre la dynamique côtière et d’éclairer les décisions en matière de protection de l’environnement. Le flux continu d'images haute résolution nécessite des solutions robustes de traitement des données et de stockage pour gérer efficacement les grands ensembles de données, posant des défis qui exigent des solutions innovantes pour l'analyse en temps réel et l'extraction d'informations pertinentes. Ce travail exploite des capteurs visuels à base d'événements à faible latence, couplés à du matériel neuromorphique, afin de relever un double défi : réduire la charge de calcul à environ 0,375 mW tout en obtenant une carte de détection du littoral en seulement 20 ms. Le réseau neuronal à impulsions (SNN) proposé fonctionne sur la plateforme neuromorphique SpiNNaker, utilisant un total de 18 040 neurones et atteignant une précision de 98,33 %. Le modèle a été caractérisé et évalué en calculant la précision des scores d'Intersection over Union (IoU) par rapport à la vérité terrain d'un ensemble de données réelles de littoral sur différentes fenêtres temporelles. La robustesse du système a également été évaluée en mesurant sa capacité à éviter la détection de littoraux dans des profils non côtiers et des formes atypiques, avec un taux de succès de 97,3 %.
Fichier principal
Event_driven_nearshore_and_shoreline_coastline_detection_on_SpiNNaker_neuromorphic_hardware.pdf (2.51 Mo)
Télécharger le fichier
Origine | Fichiers produits par l'(les) auteur(s) |
---|---|
Licence |
Copyright (Tous droits réservés)
|