Combining Depth, Color and Position Information for Object Instance Recognition on an Indoor Mobile Robot
Fusion d'informations de profondeur, couleur et position pour la reconnaissance d'instances d'objets sur un robot mobile d'intérieur
Résumé
Mobile robots have already entered people's homes to perform simple tasks for them. For robots at home to become real assistants, they have to be able to recognize the objects in their owner's home. In this thesis, object instance recognition algorithms are designed to cope with the variations (viewing angle, lighting conditions, etc.) that occur in the context of mobile robotics experiments. Several ways to take advantage of this context are studied. First, a geometric segmentation algorithm that benefits from the structure of indoor scenes to find isolated objects is designed. Then, a neural network based object recognition process that fuses shape, color and texture information provided by color and depth cameras is presented. This step highlights the importance of carefully combining multiple features and the difficulty to use color information in robotics. Finally, an alternative approach using a nearest neighbor classifier, which is easier to train than the neural network, is detailed. It relies on physical measures available to the robot to eliminate some parameters in clustering and nearest neighbor search procedures. Also, it uses information gathered through multiple sightings of the objects to reduce the negative impact of occlusions. The algorithm can recognize 52 objects with a success rate of 80\% and runs in 500 ms on average (on an Intel Core i5 CPU with 3~GB of RAM) on a mobile robot. This work shows that identifying and taking advantage of the structure and information available is essential to handle the variations that happen in indoor mobile robot experiments.
Des robots mobiles ont déjà fait leur apparition dans nos domiciles pour accomplir des tâches simples. Pour qu'un robot devienne un véritable assistant, il doit reconnaître les objects qui appartiennent à son propriétaire. Dans cette thèse, des algorithmes de reconnaissance d'instances d'objets sont développés pour faire face aux variations (angles de vue, illumination, etc.) qui surviennent dans un contexte de robotique mobile d'intérieur. Différentes manières de tirer profit de ce contexte sont étudiées. Premièrement, un algorithme de segmentation géometrique est proposé pour profiter de la structure inhérente aux scènes d'intérieur et y détecter des objects isolés. Un réseau de neurones pour la reconnaissance d'objets qui fusionne des informations de forme, couleur et texture provenant d'images de couleur et de profondeur est ensuite présenté. Cet algorithme met en évidence l'importance de combiner plusieurs sources d'information et la difficulté à utiliser la couleur en robotique. Enfin, une solution alternative à base de recherche de plus proche voisin, plus facile à entraîner que le réseau de neurones, est détaillée. Cette approche utilise des mesures comme la distance à l'objet pour éliminer certains paramètres dans la recherche de plus proche voisin et le partitionnement de données. L'information provenant de multiples vues d'un même objet sont aussi fusionnés. L'algorithme résultant fonctionne sur un robot mobile et peut reconnaître 52 objects en 500 ms en moyenne (sur un Intel Core i5 avec 3 GB de RAM) avec un taux de succès de 80\%. Les expériences menées dans cette thèse montrent qu'il est essentiel d'identifier et d'utiliser la structure et l'information présentes dans le contexte de la robotique d'intérieur pour faire face aux grandes variations qu'il peut y survenir.