Towards Automatic Transformer-based Cloud Classification and Segmentation - Archive ouverte HAL Accéder directement au contenu
Communication Dans Un Congrès Année : 2021

Towards Automatic Transformer-based Cloud Classification and Segmentation

Roshan Roy
  • Fonction : Auteur
  • PersonId : 1118533
Ahan M R
  • Fonction : Auteur
  • PersonId : 1118532
Vaibhav Soni
  • Fonction : Auteur
  • PersonId : 1118534
Ashish Chittora
  • Fonction : Auteur
  • PersonId : 1118535

Résumé

Clouds have been demonstrated to have a huge impact on the energy balance, temperature, and weather of the Earth. Classification and segmentation of clouds and coverage factors is crucial for climate modelling, meteorological studies, solar energy industry, and satellite communication. For example, clouds have a tremendous impact on short-term predictions or 'nowcasts' of solar irradiance and can be used to optimize solar power plants and effectively exploit solar energy. However even today, cloud observation requires the intervention of highly-trained professionals to document their findings, which introduces bias. To overcome these issues and contribute to climate change technology, we propose, to the best of our knowledge, the first two transformer-based models applied to cloud data tasks. We use the CCSD Cloud classification dataset and achieve 90.06% accuracy, outperforming all other methods. To demonstrate the robustness of transformers in this domain, we perform Cloud segmentation on SWIMSWG dataset and achieve 83.2% IoU, also outperforming other methods. With this, we signal a potential shift away from pure CNN networks.
Il a été démontré que les nuages ​​ont un impact énorme sur le bilan énergétique, la température et la météo de la Terre. La classification et la segmentation des nuages ​​et des facteurs de couverture sont cruciales pour la modélisation du climat, les études météorologiques, l'industrie de l'énergie solaire et les communications par satellite. Par exemple, les nuages ​​ont un impact considérable sur les prévisions à court terme ou les « prévisions immédiates » de l'irradiation solaire et peuvent être utilisés pour optimiser les centrales solaires et exploiter efficacement l'énergie solaire. Cependant, même aujourd'hui, l'observation des nuages ​​nécessite l'intervention de professionnels hautement qualifiés pour documenter leurs découvertes, ce qui introduit des biais. Pour surmonter ces problèmes et contribuer à la technologie du changement climatique, nous proposons, à notre connaissance, les deux premiers modèles basés sur des transformateurs appliqués aux tâches de données cloud. Nous utilisons l'ensemble de données de classification CCSD Cloud et obtenons une précision de 90,06 %, surpassant toutes les autres méthodes. Pour démontrer la robustesse des transformateurs dans ce domaine, nous effectuons une segmentation Cloud sur l'ensemble de données SWIMSWG et atteignons 83,2% d'IoU, surpassant également les autres méthodes. Avec cela, nous signalons un éloignement potentiel des réseaux CNN purs.
Fichier principal
Vignette du fichier
paper.pdf (2.31 Mo) Télécharger le fichier
Origine Fichiers produits par l'(les) auteur(s)

Dates et versions

hal-03453957 , version 1 (29-11-2021)

Licence

Domaine public

Identifiants

  • HAL Id : hal-03453957 , version 1

Citer

Roshan Roy, Ahan M R, Vaibhav Soni, Ashish Chittora. Towards Automatic Transformer-based Cloud Classification and Segmentation. NeurIPS 2021 Workshop on Tackling Climate Change with Machine Learning, NeurIPS 2021, Dec 2021, Montreal, Canada. pp.60. ⟨hal-03453957⟩
168 Consultations
103 Téléchargements

Partager

Gmail Mastodon Facebook X LinkedIn More