Kernel based learning on hierarchical image representations : applications to remote sensing data classification - Archive ouverte HAL
Thèse Année : 2017

Kernel based learning on hierarchical image representations : applications to remote sensing data classification

Apprentissage à base de noyaux sur représentations d'images arborescentes : applications à la classification des images de télédétection

Résumé

Hierarchical image representations have been widely used in the image classification context. Such representations are capable of modeling the content of an image through a tree structure, where objects-of-interest (represented by the nodes of the tree) can be revealed at various scales, and where the topological relationship between objects (e.g. A is part of B, or B consists of A) can be easily captured thanks to the edges of the tree. However, for fully benefiting from this key information, dedicated machine learning methods that can directly learn on hierarchical representations and handle the induced structured data need to be developed. In this thesis, we investigate kernel-based strategies that make possible taking input data in tree-structured and capturing the topological patterns inside each structure through designing structured kernels. We apply the designed kernel to remote sensing image classification tasks, allowing the discovery of complex cross-scale patterns in hierarchical image representations. We develop a structured kernel dedicated to unordered tree and path (sequence of nodes) structures equipped with numerical features, called Bag of Subpaths Kernel (BoSK). BoSK is an instance of a convolution kernel relying on subpath substructures, more precisely a bag of all paths and single nodes. It is formed by summing up kernels computed on all pairs of subpaths of the same length between two bags. The direct computation of BoSK can be done through an iterative scheme, yielding a quadratic complexity w.r.t. both structure size (number of nodes) and amount of data (training size). However, such complexity prevents BoSK to be used on real world large-scale problems, where the tree can have more than hundreds of nodes and the available training data can consist in more than ten thousands samples. Therefore, we propose a fast version of the algorithm, called Scalable BoSK (SBoSK for short), using Random Fourier Features to map the structured data in a randomized finite-dimensional Euclidean space, where inner product of the transformed feature vector approximates BoSK. It brings down the complexity from quadratic to linear w.r.t. structure size and amount of data, making the kernel compliant with the large-scale machine learning context. Thanks to (S)BoSK, we can learn from cross-scale patterns in hierarchical image representations. (S)BoSK operates on paths, thus allowing modeling the context of a pixel (leaf of the hierarchical representation) through its ancestor regions at multiple scales. Such a model is used within pixel-based image classification. (S)BoSK also deals with trees, making the kernel able to capture the composition of an object (top of the hierarchical representation) and the topological relationships among its subparts. This strategy allows tile/sub-image classification. Further relying on (S)BoSK, we introduce a novel multi-source classification approach that performs classification directly from a hierarchical image representation built from two images of the same scene taken at different resolutions, possibly with different modalities. Evaluations on several publicly available datasets illustrate the superiority of (S)BoSK compared to state-of-the-art remote sensing classification methods in terms of classification accuracy, and experiments on a urban classification task show the effectiveness of the proposed multi-source classification approach.
La représentation d'image sous une forme hiérarchique a été largement utilisée dans un contexte de classification. Une telle représentation est capable de modéliser le contenu d'une image à travers une structure arborescente, où les objets d'intérêt (représentés par les noeuds de l'arbre) peuvent être appréhendés à différentes échelles et où la relation topologique entre les objets (par exemple A fait partie de B, ou B se compose de A) peut être facilement décrite grâce aux arêtes de l'arbre. Cependant, pour bénéficier pleinement de ces informations-clés, des méthodes d'apprentissage statistiques doivent être développées pour traiter directement les données structurées sous leur forme hiérarchique. Dans cette thèse, nous considérons les méthodes à noyaux qui permettent de prendre en entrée des données sous une forme structurée et de tenir compte des informations topologiques présentes dans chaque structure en concevant des noyaux structurés. Nous appliquons le noyau que nous avons développé aux tâches usuelles de classification des images de télédétection, permettant ainsi de découvrir des modèles complexes dans les représentations hiérarchiques des images. Nous présentons un noyau structuré dédié aux structures telles que des arbres non ordonnés et des chemins (séquences de noeuds) équipés d'attributs numériques. Le noyau proposé, appelé Bag of Subpaths Kernel (BoSK), est une instance du noyau de convolution et s'appuie sur l'extraction de sous-structures de sous-chemins, plus précisement un sac de tous les chemins et des n{\oe}uds simples. Il est formé en sommant les noyaux calculés sur toutes les paires de sous-chemins de même longueur entre deux sacs. Le calcul direct de BoSK peut se faire selon un schéma itératif, amenant à une complexité quadratique par rapport à la taille de la structure (nombre de n{\oe}uds) et la quantité de données (taille de l'ensemble d'apprentissage). Cependant, une telle complexité ne permet pas d'utiliser BoSK pour résoudre des problèmes à grande échelle, où la structure peut contenir des centaines de n{\oe}uds et les données d'apprentissage disponibles peuvent comporter plus de dix milliers d'échantillons. Par conséquent, nous proposons également une version rapide de notre algorithme, appelé Scalable BoSK (SBoSK), qui s'appuie sur les Random Fourier Features pour projeter les données structurées dans un espace euclidien, où le produit scalaire du vecteur transformé est une approximation de BoSK. Cet algorithme bénéficie d'une complexité non plus quadratique mais linéaire par rapport aux tailles de la structure et de l'ensemble d'apprentissage, rendant ainsi le noyau adapté aux situations d'apprentissage à grande échelle. Grâce à (S)BoSK, nous sommes en mesure d'effectuer un apprentissage à partir d'informations présentes à plusieurs échelles dans les représentations hiérarchiques d'image. (S)BoSK fonctionne sur des chemins, permettant ainsi de tenir compte du contexte d'un pixel (feuille de la représentation hiérarchique) par l'intermédiaire de ses régions ancêtres à plusieurs échelles. Un tel modèle est utilisé dans la classification des images au niveau pixel. (S)BoSK fonctionne également sur les arbres, ce qui le rend capable de modéliser la composition d'un objet (racine de la représentation hiérarchique) et les relations topologiques entre ses sous-parties. Cette stratégie permet la classification des tuiles ou parties d'image. En poussant plus loin l'utilisation de (S)BoSK, nous introduisons une nouvelle approche de classification multi-source qui effectue la classification directement à partir d'une représentation hiérarchique construite sur deux images de la même scène prises à différentes résolutions, éventuellement selon différentes capteurs. Les évaluations sur plusieurs jeux de données de télédétection disponibles dans la communauté illustrent la supériorité de (S)BoSK par rapport à l'état de l'art en termes de précision de classification, et les expériences menées sur une tâche de classification urbaine montrent la pertinence de l'approche de classification multi-source proposée.
Fichier principal
Vignette du fichier
Thesis_IRISA_YanweiCUI.pdf (9.4 Mo) Télécharger le fichier
Origine Fichiers produits par l'(les) auteur(s)
Loading...

Dates et versions

tel-01671529 , version 1 (22-12-2017)

Identifiants

  • HAL Id : tel-01671529 , version 1

Citer

Yanwei Cui. Kernel based learning on hierarchical image representations : applications to remote sensing data classification. Machine Learning [stat.ML]. Université Bretagne Loire 2017. English. ⟨NNT : ⟩. ⟨tel-01671529⟩
368 Consultations
171 Téléchargements

Partager

More