Navigation augmented fluorescence informations for the laparoscopic surgery robot-assisted
Navigation augmentée d'informations de fluorescence pour la chirurgie laparoscopique robot-assistée
Résumé
Laparoscopic surgery faithfully reproduce the principles of conventional surgery with minimal physical aggression.
If this surgery appears to be very beneficial for the patient, it is a difficult surgery where the complexity of surgical
act is increased, compared with conventional surgery. This complexity is partly due to the manipulation of surgical
instruments and viewing the surgical scene (including the restricted field of view of a conventional endoscope). The
decisions of the surgeon could be improved by identifying critical or not visible areas of interest in the surgical scene.
My research aimed to combine robotics, computer vision and fluorescence to provide an answer to these problems :
fluorescence imaging provides additional visual information to assist the surgeon in determining areas to operate or to
be avoided (for example, visualization of the cystic duct during cholecystectomy). Robotics will provide the accuracy
and efficiency of the surgeon’s gesture as well as a visualization and a "more intuitive" tracking of the surgical scene.
The combination of these two technologies will help guide and secure the surgical gesture.
A first part of this work consisted in extracting visual information in both imaging modalities (laparoscopy/fluorescence).
Localization methods for 2D/3D real-time of laparoscopic surgical instruments in the laparoscopic image and anato-
mical targets in the fluorescence image have been designed and developed. A second part consisted in the exploitation
of the bimodal visual information for developing control laws for robotics endoscope holder and the instrument hol-
der. Visual servoing controls of a robotic endoscope holder to track one or more instruments in laparoscopic image or
a target of interest in the fluorescence image were implemented. In order to control a robotic instrument holder with
the visual information provided by the imaging system, a calibration method based on the use of 3D information of the
localization of surgical instruments was also developed. This multimodal environment was evaluated quantitatively
on the test bench and on anatomical specimens.
Ultimately this work will be integrated within lightweight robotic architectures, not rigidly linked, using comanipu-
lation robots with more sophisticated controls such as force feedback. Such an "increase" viewing capabilities and
surgeon’s action could help to optimize the management of the patient.
La chirurgie laparoscopique reproduit fidèlement les principes de la chirurgie conventionnelle avec une agression
corporelle minimale. Si cette chirurgie apparaît comme étant très avantageuse pour le patient, il s’agit d’une interven-
tion chirurgicale difficile où la complexité du geste chirurgical est accrue, en comparaison avec la chirurgie conven-
tionnelle. Cette complexité réside en partie dans la manipulation des instruments chirurgicaux et la visualisation de
la scène chirurgicale (notamment le champ de visualisation restreint d’un endoscope classique). La prise de déci-
sions du chirurgien pourrait être améliorée en identifiant des zones critiques ou d’intérêts non visibles dans la scène
chirurgicale.
Mes travaux de recherche visent à combiner la robotique, la vision par ordinateur et la fluorescence pour apporter
une réponse à ces difficultés : l’imagerie de fluorescence fournira une information visuelle supplémentaire pour aider
le chirurgien dans la détermination des zones à opérer ou à éviter (par exemple, visualisation du canal cystique lors
d’une cholécystectomie). La robotique assurera la précision et l’efficience du geste du chirurgien ainsi qu’une visua-
lisation et un suivi "plus intuitif" de la scène chirurgicale. L’association de ces deux technologies permettra de guider
et sécuriser le geste chirurgical.
Une première partie de ce travail a consisté en l’extraction d’informations visuelles dans les deux modalités d’image-
rie (laparoscopie/fluorescence). Des méthodes de localisation 2D/3D en temps réel d’instruments chirurgicaux dans
l’image laparoscopique et de cibles anatomiques dans l’image de fluorescence ont été conçues et développées.
Une seconde partie a consisté en l’exploitation de l’information visuelle bimodale pour l’élaboration de lois de com-
mande pour des robots porte-endoscope et porte-instrument. Des commandes par asservissement visuel d’un robot
porte-endoscope pour suivre un ou plusieurs instruments dans l’image laparoscopique ou une cible d’intérêt dans
l’image de fluorescence ont été mises en œuvre. Dans l’objectif de pouvoir commander un robot porte-instrument, en
fonction des informations visuelles fournies par le système d’imagerie, une méthode de calibrage basée sur l’exploi-
tation de l’information 3D de la localisation d’instruments chirurgicaux a également été élaborée. Cet environnement
multimodal a été évalué quantitativement sur banc d’essai puis sur spécimens anatomiques.
À terme ce travail pourra s’intégrer au sein d’architectures robotisées légères, non-rigidement liées, utilisant des ro-
bots de comanipulation avec des commandes plus élaborées tel que le retour d’effort. Une telle "augmentation" des
capacités de visualisation et d’action du chirurgien pourraient l’aider à optimiser la prise en charge de son patient.