Vision-based localisation and characterisation of unknown objets : towards an intuitive grasping tool for the disabled
Localisation et caractérisation d'objets inconnus à partir d'informations visuelles : vers une saisie intuitive pour les personnes en situation de handicap
Résumé
The starting point of this study is the development of a robot assistant for the disabled. The robot is a vision-based controlled manipulator which is equipped with two cameras : one is embedded on the gripper and gives a close view of the scene while the second one is remotely located and gives a global view of the scene. The objective is then to grasp an a priori unknown object given the only information of one clic on the remote image. We present methods to roughly localize the object and estimate the characteristics needed for grasping. Our work may be seen as an alternative to the grasping procedures that are using a previously built data-base. The thesis is divided in two parts : the rough object localization and the estimation of its characteristics. Given the coordinates of the clicked point, the object is known to be on the view line which connects both the remote camera optical center and the clicked point. The projection of this view line on the gripper image plane is the epipolar line associated with the clicked point. Epipolar based visual servoing is used to control the embedded camera to scan this line. Image characteristics are extracted from both the remote and the gripper view and then matched to estimate the 3D position of the object. This method holds the advantage of being robust to object motion in the remote frame. At the end of the localization process, the object is included in both ﰜelds of view and the estimation of the characteristics is initialized. The object rough shape estimation is treated with a monocular mobile camera. The object shape is approximated by a quadric whose parameters are estimated from the object projection on a set of images. The object is segmented using an active contour method that is initialized using the output of the localization process. The better the viewpoints, the more accurate the characteristics estimation. Finally, a active vision method is developed to automatically select the viewpoints that improve reconstruction. The best views are chosen in order to maximize the new information.
Le point de départ des travaux présentés dans cette thèse est la volonté de développement d'une aide robotisée à la saisie intuitive pour les personnes en situation de handicap. L'outil proposé est un manipulateur contrôlé en utilisant directement les informations transmises par deux caméras, l'une embarquée sur la pince qui donne une vue détaillée de la scène, et l'autre déportée qui en oﰛre une vue d'ensemble. L'objet de nos travaux est de saisir un objet a priori inconnu à partir d'un seul clic de l'utilisateur sur une image acquise par la caméra déportée. Nous proposons des méthodes permettant de localiser et de caractériser grossièrement un objet de forme convexe aﰜn qu'il puisse être saisi par la pince du manipulateur. Cette thèse peut être vue comme complémentaire aux méthodes existantes reposant sur l'utilisation de bases de données. Ce manuscrit est divisé en deux parties : la localisation grossière d'un objet inconnu et la caractérisation de sa forme. L'objet se situe sur la ligne de vue qui passe par le centre optique de la caméra déportée et le clic. La projection de cette ligne de vue dans la caméra embarquée est la ligne épipolaire associée aux clic. Nous proposons donc un asservissement visuel reposant sur l'utilisation de la géométrie épipolaire pour commander la caméra embarquée de façon à parcourir cette ligne. Les indices visuels extraits des images embarquées sont ensuite mis en correspondance avec les indices détectés au voisinage du clic pour estimer la position 3D de l'objet. Cette méthode est robuste à des mouvements relatifs de l'objet et de la caméra déportée au cours du processus de localisation. En ﰜn de processus, l'objet désigné se trouve dans le champ de vision des deux caméras et ces deux vues peuvent servir à initier une caractérisation plus précise de l'objet et suﰞsante pour la saisie. Le problème de la caractérisation de la forme de l'objet a été traité dans le cadre d'une observation monoculaire dynamique. La forme de l'objet est modélisée par une quadrique dont les paramètres sont estimés à partir de ses projections dans un ensemble d'images. Les contours de l'objet sont détectés par une méthode de contours actifs initialisés à partir de la localisation grossière de l'objet. La caractérisation de l'objet est d'autant plus précise que les vues utilisées pour l'estimer sont bien choisies. La dernière contribution de ce mémoire est une méthode de sélection par vision active des vues optimales pour la reconstruction. Les meilleures vues sont choisies en recherchant les positions de la caméra qui maximisent l'information.
Domaines
Robotique [cs.RO]
Loading...