Snapshot multispectral image demosaicing and classification
Dématriçage et classification d’images multispectrales
Résumé
Multispectral cameras sample the visible and/or the infrared spectrum according to specific spectral bands. Available technologies include snapshot multispectral cameras equipped with filter arrays that acquire raw images at video rate. Raw images require a demosaicing procedure to estimate a multispectral image with full spatio-spectral definition. In this manuscript we review multispectral demosaicing methods and propose a new one based on the pseudo-panchromatic image estimated directly from the raw image. We highlight the influence of illumination on demosaicing performances, then we propose pre- and post-processing normalization steps that make demosaicing robust to acquisition properties. Experimental
results show that our method provides estimated images of better objective quality than classical ones and that normalization steps improve the quality of state-of-the art demosaicing methods on images acquired under various illuminations.
Multispectral images can be used for texture classification. To perform texture analysis, local binary pattern operators extract texture descriptors from color texture images. We extend these operators to multispectral texture images at the expense of increased memory and computation requirements. We propose to compute texture descriptors directly from raw images, which both avoids the demosaicing step and reduces the descriptor size. For this purpose, we design a local binary pattern operator that jointly extracts the spatial and spectral texture information from a raw
image. In order to assess classification on multispectral images we have proposed the first significant multispectral database of close-range textures in the visible and near infrared spectral domains. Extensive experiments on this database show that the proposed descriptor has both reduced computational cost and high discriminating power with regard to classical local binary pattern descriptors applied to demosaiced images.
Les caméras multispectrales échantillonnent le spectre du visible et/ou de l’infrarouge selon des bandes spectrales spécifiques. Parmi les technologies disponibles, les caméras multispectrales snapshot équipées d’une mosaïque de filtres acquièrent des images brutes à cadence vidéo. Ces images brutes nécessitent un processus de dématriçage permettant d’estimer l’image multispectrale en pleine définition spatiospectrale.
Dans ce manuscrit nous examinons les méthodes de dématriçage multispectrale et proposons une nouvelle méthode basée sur l’utilisation d’une image panchromatique estimée directement à partir de l’image brute. De plus, nous mettons en évidence l’influence de l’illumination sur les performances de dématriçage, puis nous proposons des étapes de normalisation pré- et post-dématriçage rendant ce dernier robuste aux propriétés d’acquisition. Les résultats expérimentaux montrent que notre méthode fournit de meilleurs résultats que les méthodes classiques, et que les étapes de normalisation améliorent les performances de toutes les méthodes de l’état de l’art sur des images acquises sous différentes illuminations.
Les images multispectrales peuvent être utilisées pour la classification de texture.
Afin d’effectuer une analyse de texture, nous considérons les opérateurs basés sur les motifs binaires locaux, qui extraient les descripteurs de texture à partir d’images couleur. Nous étendons ces opérateurs aux images de texture multispectrale au détriment d’exigences de mémoire et de calcul accrues. Nous proposons alors de calculer les descripteurs de texture directement à partir d’images brutes, ce qui évite l’étape de dématriçage tout en réduisant la taille du descripteur. Pour cela, nous concevons un opérateur de modèle binaire local qui extrait conjointement les informations de texture spatiale et spectrale d’une image brute. Afin d’évaluer la classification sur des images multispectrales, nous avons proposé la première base de données multispectrale de textures proches dans les domaines spectraux du visible et du proche infrarouge. Des expériences approfondies sur cette base montrent que le descripteur proposé a à la fois un coût de calcul réduit et un pouvoir de discrimination élevé en comparaison avec les descripteurs classiques appliqués aux images dématriçées.
| Origine | Fichiers produits par l'(les) auteur(s) |
|---|
Loading...