Decimeter-resolution PolSAR image segmentation using Segment Anything Model
Segmentation d’image SAR polarimétrique de résolution décimétrique en utilisant Segment Anything Model
Résumé
Deep neural networks have dramatically changed semantic segmentation, outperforming previous strategies. After a surge of development over the last decade, neural networks are now available as off-the-shelf tools, such as the Segment Anything Model, which aims at performing single-shot segmentation. Applying SAM to Synthetic Aperture Radar images would be of advantage, since high resolution SAR images required for training neural networks remain a scarcely available resource. However, like the large majority of neural networks solutions, SAM was trained on optical images only, and is therefore not optimized for SAR images. In this paper we assess how SAM could be successfully applied to our fully polarimetric SAR images, without altering SAM. The objective is then to find the minimal preprocessing, that allow to use SAM on SAR images, with satisfactory segmentation results. We explore its performances on 35-centimeter resolution X-band images and 1.5-meter resolution L-band images, and how the choice of polarimetric representation and decomposition affects the segmentation results.
Les réseaux de neurones profonds ont radicalement changé le visage de la segmentation sémantique, en surpassant les stratégies précédentes. Après une explosion des développements au cours de la dernière décennie, les réseaux de neurones sont maintenant disponibles comme solutions prêtes à l’emploi, tels que Segment Anything Model, qui vise à effectuer des segmentations sans entraînement préliminaire. Il serait avantageux d’appliquer SAR aux images radar à ouverture synthétique,étant donné que les images ROS à haute résolution sont une ressource rare. Néanmoins, comme l’extrême majorité des solutions utilisant des réseaux de neurones, SAM a été entraîné exclusivement sur des images optiques, et n’est donc pas optimisé pour les images ROS. Dans cette publication nous évaluons comment SAM a pu être appliqué avec succès à nos images ROS multi polarimétriques, sans modifier SAM. L’objectif est alors de trouver les prétraitements minimaux, qui permettront d’utiliser SAM sur des images ROS, avec des résultats satisfaisants. Nous explorons ses performances sur des images en bande X avec une résolution de 35cm, et des images en bande L avec une résolution de 1,5m, et comment les choix de représentation et décomposition polarimétriques affectent ces résultats.