Implantation dans le matériel de fonctionnalités temps-réel dans une caméra intelligente ultralégère spécialisée pour la prise de vue aérienne - Archive ouverte HAL
Thèse Année : 2017

Implementation of real-time functionalities in the hardware of an intelligent ultra-light camera specialized for aerial photography

Implantation dans le matériel de fonctionnalités temps-réel dans une caméra intelligente ultralégère spécialisée pour la prise de vue aérienne

Résumé

In the recent years, the civilian UAVs (Unmanned Aerial Vehicles) have become an interesting tool in aerial photography and in photogrammetry. This led the LOEMI (Laboratoire d'Opto-électronique, de Métrologie et d'Instrumentation) team of IGN (Institut National de l'Information Géographique) to design a light-weight digital camera better adapted for exploiting photogrammetry and metrology applications than consumer cameras. This camera consists essentially of a CMOS\global shutter" sensor, an inertial measurement unit IMU, and a system on chip (FPGA + 2 CPUs) used originally to acquire image data from the sensor. This SoC/FPGA-based camera opens the door to implement in hardware some real-time image processing algorithms. Night-time surveys and narrow spectral bandwith imagery are one of the next applications targeted by IGN, this type of applications needs a long-exposure time imagery that usually leads to a motion blur due to erratic movements of the UAV. This thesis consists in the implementation on the light-weight IGN camera of an alogirithm which makes it possible to remedy this problem of motion blur. The fi rst part of this work was devoted to the development of the method which consists in acquiring several images with a short exposure time and then using an image processing algorithm in order to generate a stacked image with the equivalent of a long-exposure time. To obtain the correct parameters for the resampling of images, the presented method accurately estimates the geometrical relation between the rst and the nth image, taking into account the internal parameters and the distortion of the camera. Features are detected in the rst image by the FAST detector, then homologous points on other images are obtained by template matching aided by the IMU sensors. In order to speed up the processing of our algorithm, some phases are accelerated by implementing them in the hardware (SoC / FPGA). The results obtained on real surveys show that the nal stacked image does not present a motion blur. The time results of the di erent phases of the algorithm also show that it is usable in real time during shooting for most of our applications. In the future, the parameters of the algorithm will be re ned in order to optimize the results and the execution time of the process. It would also be advantageous to exploit the presence of the GNSS receiver and the accelerometers in order to improve the phase of prediction of homologous points positions. By extension, this work is intended to be used on an airborne prototype imaging system with different narrow spectral channels. Keywords : UAVs, Image processing, Real-time, Inertial sensors, FPGA, Photogrammetry
Au cours des dernières années, les drones civils sont devenus un outil intéressant dans la photographie aérienne et dans les travaux de photogrammétrie. Cela a poussé le LOEMI (Laboratoire d’Opto-Electronique, Métrologie et Instrumentation) de l’IGN (Institut National de l’Information Géographique et Forestière) à mettre au point une nouvelle caméra aérienne mieux adaptée pour l’exploitation photogrammétrique et métrologique des images que les caméras grand public. Cette caméra est composée essentiellement d’un capteur CMOS “global-shutter”, d’une centrale inertielle IMU, et d’un système sur puce (FPGA + 2 CPUs) pour la gestion de l’acquisition des images. Ce SoC/FPGA ouvre la porte à l’implémentation temps-réel des algorithmes de traitement d’image. Parmi les travaux futurs de l’IGN, on peut distinguer certaines applications qui nécessitent l’acquisition des images aériennes avec un temps d’exposition long, comme par exemple les prises de vue aériennes en bande spectrale étroite et les prises de vue aériennes de nuit. Ce type de prises de vue manifeste un flou de bougé dans les images dû aux mouvements erratiques du drone. Cette thèse consiste en l’implémentation dans la caméra légère de l’IGN d’un algorithme qui permet de remédier à ce problème de flou de bougé. La première partie de ce travail a été consacrée au développement de la méthode qui consiste à acquérir plusieurs images avec un temps de pose court, puis utiliser un algorithme de traitement d’image afin de générer une image empilée finale avec l’équivalent d’un temps de pose long. Les paramètres des orientations correctes pour le ré-échantillonnage des images sont obtenus par l’estimation de la transformation géométrique entre la première image et la nième image à partir des points d’intérêts détectés par FAST dans la première image et les points homologues obtenus par corrélation dans les autres images accélérées par les capteurs inertiels intégrés à la caméra. Afin d’augmenter la vitesse de traitement de calcul de notre algorithme, certaines phases sont accélérées en les implémentant dans le matériel (SoC/FPGA). Les résultats obtenus sur des jeux de tests acquis avec un drone type Copter 1B UAV et la caméra ultra-légère de l’IGN montrent que l’image finale empilée ne présente pas un flou de bougé. Les temps d’exécution des différentes phases montrent qu’il est utilisable en temps-réel pendant les prises de vue pour la plupart de nos applications. Dans le futur, les paramètres de l’algorithme seront affinés afin d’optimiser les résultats et le temps d’exécution du processus. Il serait intéressant aussi d’exploiter la présence du récepteur GNSS et des accéléromètres pour améliorer la phase de prédiction de positions de points homologues. Par extension, ce travail sera utilisé dans le cadre du projet de réalisation d’un prototype de système d’imagerie superspectral aéroporté. Mots clefs : UAVs, Traitement d’image, Temps-réel, Capteurs inertiels, FPGA, Photogrammétrie.
Fichier principal
Vignette du fichier
Main.pdf (47.92 Mo) Télécharger le fichier
Origine Fichiers produits par l'(les) auteur(s)
Loading...

Dates et versions

tel-01670060 , version 1 (21-12-2017)
tel-01670060 , version 2 (13-03-2018)

Identifiants

  • HAL Id : tel-01670060 , version 1

Citer

Ahmad Audi. Implantation dans le matériel de fonctionnalités temps-réel dans une caméra intelligente ultralégère spécialisée pour la prise de vue aérienne. Systèmes embarqués. Université paris 13; IGN (Institut National de l’Information Géographique et Forestière), 2017. Français. ⟨NNT : ⟩. ⟨tel-01670060v1⟩
752 Consultations
93 Téléchargements

Partager

More