Learning Spatio-temporal Representations of Satellite Time Series for Large-scale Crop Mapping - Archive ouverte HAL
Thèse Année : 2022

Learning Spatio-temporal Representations of Satellite Time Series for Large-scale Crop Mapping

Apprendre des representations spatio-temporelles de series temporelles d'images satellites pour la cartographie agricole.

Résumé

Understanding and monitoring the agricultural activity of a territory requires the production of ac- curate crop type maps. Such maps identify the boundaries of each agricultural parcel along with the cultivated crop type. This information is valuable for a variety of stakeholders and has applications ranging from food supply prediction to subsidy allocation and environmental monitoring. While early crop type maps required tedious in situ data collection, the advent of automated analysis of remote sensing data enabled large-scale mapping efforts. In this dissertation, we consider the problem of crop type mapping from multispectral satellite image time series. In most of the literature of the past decade, this problem is typically addressed with traditional machine learning models trained on hand-engineered descriptors. Meanwhile, in Computer Vision (CV) and Natu- ral Language Processing (NLP), the ability to learn representations directly from raw data provoked a paradigm shift leading to unprecedented levels of performance on a variety of problems. Similarly, the application of deep learning models to remote sensing data significantly improved the state-of-the-art for crop type mapping as well as other tasks. In this thesis, we hold that the direct application of CV and NLP methods to remote sensing tasks tends to ignore crucial particularities of the data at hand. Instead, we argue for the design of bespoke methods leveraging the complex spatial, spectral, and temporal structures of satellite time series. We successively formulate crop type mapping as parcel-based classification, semantic segmentation, and panoptic segmentation, three increasingly difficult tasks. For each of these tasks, we propose a novel deep learning architecture adapted to the task’s specificities and inspired by recent advances in the deep learning literature. Our methods set a new state-of-the-art for each task while being more com- putationally efficient than competing approaches. Specifically, we introduce (i) the Pixel-Set Encoder, an efficient spatial parcel-based encoder, (ii) the Temporal Attention Encoder (TAE), a self-attention temporal encoder, (iii) U-net with TAE, a variation of the TAE for segmentation problems, and (iv) Parcel-as-Point, a lightweight instance segmentation module for the panoptic segmentation of parcels. We also explore how these architectures can be adapted to multimodal image time series combin- ing optical and radar information through well-chosen fusion schemes. Multimodality improves the mapping performance as well as the robustness to cloud obstruction. Lastly, we focus on the hierar- chical tree that encapsulates the semantic relationships between crop classes. We introduce a method to include such structure in the learning process. For crop classification as well as other classification problems, we show that our method reduces the rate of errors between semantically distant classes. Along with these methods, we introduce PASTIS, the first large-scale open-access dataset of mul- timodal satellite image time series with panoptic annotations of agricultural parcels. We hope that this dataset, along with the promising results presented in this dissertation, will encourage further research in this direction and help produce ever more accurate agricultural maps.
L’analyse et le suivi de l’activité agricole d’un territoire nécessitent la production de cartes agricoles précises. Ces cartes identifient les bordures de chaque parcelle ainsi que le type de culture. Ces infor- mations sont précieuses pour une variété d’acteurs et ont des applications allant de la prévision de la production alimentaire à l’allocation de subventions ou à la gestion environnementale. Alors que les premières cartes agricoles nécessitaient un travail de terrain fastidieux, l’essors de l’analyse automatisée des données de télédétection a ouvert la voie à des cartographies à grande échelle. Dans cette thèse nous nous intéressons à la cartographie agricole à partir de séries temporelles d’images satellites multispectrales. Dans la plupart des travaux de la dernière décennie ce problème est abordé à l’aide de modèles d’apprentissage automatique entraînés sur des descripteurs conçus par des experts. Cependant, dans la littérature de vision par ordinateur (VO) et du traitement automatique de la langue (TAL), l’entrainement de modèles d’apprentissage profond à apprendre des représentations à partir des données brutes a constitué un changement de paradigme menant à des performances sans précédent sur une variété de problèmes. De même, l’application de ces modèles d’apprentissage profond aux données de télédétection a considérablement amélioré l’état de l’art pour la cartographie agricole ainsi que d’autres tâches de télédetection. Dans cette thèse nous soutenons que les méthodes actuelles issues des littérature VO et TAL ig- norent certaines des spécificités des données de télédétection et ne devraient pas être appliquées directe- ment. Au contraire, nous pronons le developpement de méthodes adaptées, exploitant les structures spatiales, spectrales et temporelles spécifiques des séries temporelles d’images satellites. Nous carac- térisons la cartographie agricole successivement comme une classification à la parcelle, une segmen- tation sémantique et une segmentation panoptique. Pour chacune de ces tâches, nous développons une nouvelle architecture d’apprentissage profond adaptée aux particularités de la tâche et inspirée des avancées récentes de l’apprentissage profond. Nous montrons que nos méthodes établissent un nou- vel état de l’art tout en étant plus efficaces que les approches concurrentes. Plus précisément, nous présentons (i) le Pixel-Set Encoder, un encodeur spatial efficace, (ii) le Temporal Attention Encoder (TAE), un encodeur temporel utilisant la self-attention, (iii) le U-net avec TAE, une variation du TAE pour les problèmes de segmentation, et (iv) Parcel-as-Point, un module de segmentation d’instance conçu pour la segmentation panoptique des parcelles. Nous étudions également comment exploiter des séries temporelles multimodales combinant des informations optiques et radar. Nous améliorons ainsi les performances de nos modèles ainsi que leur robustesse aux nuages. Enfin, nous considérons l’arbre hiérarchique qui décrit les relations séman- tiques entre les types de culture. Nous présentons une méthode pour inclure cette structure dans le processus d’apprentissage. Sur la classification des cultures ainsi que d’autres problèmes de classifica- tion, notre méthode réduit le taux d’erreurs entre les classes sémantiquement éloignées. En plus de ces méthodes, nous introduisons PASTIS, le premier jeu de données en accès libre de séries temporelles d’images satellites multimodales avec des annotations panoptiques de parcelles agricoles. Nous espérons que ce jeu de données, ainsi que les résultats prometteurs présentés dans cette thèse encourageront d’autres travaux de recherche et aideront à produire des cartes agricoles toujours plus précises.
Fichier principal
Vignette du fichier
manuscript_these_vsfg_2021-4.pdf (38.02 Mo) Télécharger le fichier
Origine Fichiers produits par l'(les) auteur(s)

Dates et versions

tel-03524429 , version 1 (13-01-2022)

Identifiants

  • HAL Id : tel-03524429 , version 1

Citer

Vivien Sainte Fare Garnot. Learning Spatio-temporal Representations of Satellite Time Series for Large-scale Crop Mapping. Computer Vision and Pattern Recognition [cs.CV]. University Gustave Eiffel, 2022. English. ⟨NNT : ⟩. ⟨tel-03524429v1⟩
553 Consultations
15 Téléchargements

Partager

More