Segmentation and interpretation of natural images for tree leaf identification on smartphones
Segmentation et interprétation d'images naturelles pour l'identification de feuilles d'arbres sur smartphone
Résumé
Plant species, and especially tree species, constitute a well adapted target for an automatic recognition process based on image analysis. The criteria that make their identification possible are indeed often morphological visual elements, which are well described and referenced by botany. This leads to think that a recognition through shape is worth considering. Leaves stand out in this context as the most accessible discriminative plant organs, and are subsequently the most often used for this problem recently receiving a particular attention. Automatic identification however gives rise to a fair amount of complex problems, linked with the processing of images, or in the difficult nature of the species classification itself, which make it an advanced application for pattern recognition.This thesis considers the problem of tree species identification from leaf images within the framework of a smartphone application intended for a non-specialist audience. The images on which we expect to work are then potentially very complex scenes and their acquisition rather unsupervised. We consequently propose dedicated methods for image analysis, in order to segment and interpret tree leaves, using an original shape modelling and deformable templates. The introduction on prior knowledge on the shape of objects enhances significatively the quality and the robustness of the information we extract from the image. All processing being carried out on the mobile device, we developed those algorithms with concern towards the material constraints of their exploitation. We also introduce a very specific description of leaf shapes, inspired by the determining characteristics listed in botanical references. These different descriptors constitute independent sources of high-level information that are fused at the end of the process to identify species, while providing the user with a possible semantic interpretation. The classification performance demonstrated over approximately 100 tree species are competitive with state-of-the-art methods of the domain, and show a particular robustness to difficult natural background images. Finally, we integrated the implementation of our recognition system into the \textbf{Folia} application for iPhone, which constitutes a validation of our approaches and methods in a real-world use.
Les espèces végétales, et en particulier les espèces d'arbres, forment un cadre de choix pour un processus de reconnaissance automatique basé sur l'analyse d'images. Les critères permettant de les identifier sont en effet le plus souvent des éléments morphologiques visuels, bien décrits et référencés par la botanique, qui laissent à penser qu'une reconnaissance par la forme est envisageable. Les feuilles constituent dans ce contexte les organes végétaux discriminants les plus faciles à appréhender, et sont de ce fait les plus communément employés pour ce problème qui connaît actuellement un véritable engouement. L'identification automatique pose toutefois un certain nombre de problèmes complexes, que ce soit dans le traitement des images ou dans la difficulté même de la classification en espèces, qui en font une application de pointe en reconnaissance de formes.Cette thèse place le problème de l'identification des espèces d'arbres à partir d'images de leurs feuilles dans le contexte d'une application pour smartphones destinée au grand public. Les images sur lesquelles nous travaillons sont donc potentiellement complexes et leur acquisition peu supervisée. Nous proposons alors des méthodes d'analyse d'images dédiées, permettant la segmentation et l'interprétation des feuilles d'arbres, en se basant sur une modélisation originale de leurs formes, et sur des approches basées modèles déformables. L'introduction de connaissances a priori sur la forme des objets améliore ainsi de façon significative la qualité et la robustesse de l'information extraite de l'image. Le traitement se déroulant sur l'appareil, nous avons développé ces algorithmes en prenant en compte les contraintes matérielles liées à leur utilisation.Nous introduisons également une description spécifique des formes des feuilles, inspirée par les caractéristiques déterminantes recensées dans les ouvrages botaniques. Ces différents descripteurs fournissent des informations de haut niveau qui sont fusionnées en fin de processus pour identifier les espèces, tout en permettant une interprétation sémantique intéressante dans le cadre de l'interaction avec un utilisateur néophyte. Les performances obtenues en termes de classification, sur près de 100 espèces d'arbres, se situent par ailleurs au niveau de l'état de l'art dans le domaine, et démontrent une robustesse particulière sur les images prises en environnement naturel. Enfin, nous avons intégré l'implémentation de notre système de reconnaissance dans l'application Folia pour iPhone, qui constitue une validation de nos approches et méthodes dans un cadre réel.