CHANNEL-BASED ATTENTION FOR LCC USING SENTINEL-2 TIME SERIES - Archive ouverte HAL
Communication Dans Un Congrès Année : 2021

CHANNEL-BASED ATTENTION FOR LCC USING SENTINEL-2 TIME SERIES

Attention spectrale et explicabilité pour la classification de séries temporelles satellitaires par réseaux de neurones profonds

Résumé

Deep Neural Networks (DNNs) are getting increasing attention to deal with Land Cover Classification (LCC) relying on Satellite Image Time Series (SITS). Though high performances can be achieved, the rationale of a prediction yielded by a DNN often remains unclear. An architecture expressing predictions with respect to input channels is thus proposed in this paper. It relies on convolutional layers and an attention mechanism weighting the importance of each channel in the final classification decision. The correlation between channels is taken into account to set up shared kernels and lower model complexity. Experiments based on a Sentinel-2 SITS show promising results.
Les réseaux profonds de neurones sont de plus en plus plébiscités, à fortiori, en classification d'occupation des sols, à partir de séries temporelles d'images satellites. Malgré leurs performances, ces réseaux souffrent de manque d'explicabilité. Dans ce cadre, nous étudions différentes architectures de réseaux profonds convolutionnels qui extraient les caractéristiques spectro-temporelles des séries pour ensuite classifier chaque pixel. Afin d'expliquer ses décisions, nous y intégrons, de deux manières différentes, un module d'attention donnant la contribution de chaque caractéristique spectrale. Des expériences ont été menées sur des données Sentinel-2 de la Réunion. Les corrélations spectrales, inhérentes à ce type de séries, sont prises en compte en factorisant les convolutions sur des bandes fortement corrélées afin d'obtenir le meilleur compromis complexité/performance du modèle. Les résultats semblant prometteurs en termes d'explicabilité et de performances, des développements sont à l'étude pour étendre les attentions au niveau spectral et temporel (cartes de chaleur) et pour comprendre plus finement le fonctionnement des réseaux "multi-sorties" qui permettent d'entraîner le module d'attention.
Fichier principal
Vignette du fichier
SDeepIGARSS_final_to_submit25Mars.pdf (218.05 Ko) Télécharger le fichier
Origine Fichiers produits par l'(les) auteur(s)

Dates et versions

hal-03182049 , version 1 (30-03-2021)

Identifiants

Citer

Hermann Courteille, A Benoit, N Méger, A Atto, Dino Ienco. CHANNEL-BASED ATTENTION FOR LCC USING SENTINEL-2 TIME SERIES. International Geoscience and Remote Sensing Symposium (IGARSS), IEEE, Jul 2021, Brussels, Belgium. pp.1077-1080, ⟨10.1109/IGARSS47720.2021.9554205⟩. ⟨hal-03182049⟩
259 Consultations
213 Téléchargements

Altmetric

Partager

More