Multitask deep co-design for extended depth of field and depth from defocus - Archive ouverte HAL
Communication Dans Un Congrès Année : 2024

Multitask deep co-design for extended depth of field and depth from defocus

Co-conception multi-tâches pour l'extension de profondeur de champ et l'estimation de profondeur

Résumé

Deep co-design methods have been proposed to optimize simultaneously optical and neural network parameters for many separate tasks such as high dynamic range, extended depth of field (EDOF), depth from defocus (DfD), object detection or pose estimation. In contrast, we study the multi-task co-design of an imaging system for two antagonist tasks: EDOF and DfD. We model and optimize a chromatic Cooke triplet using differentiable ray tracing, and we compare the performances for DfD and EDOF tasks, in a single, parallel and collaborative optimization scheme. We show how one task can benefit from the result of the other task. We also explore the benefit of the local positional information to process images with spatially varying point spread functions related to optical field aberrations.
Des méthodes de co-conception en profondeur ont été proposées pour optimiser simultanément les paramètres des réseaux optiques et neuronaux. Ces méthodes ont été utilisées pour optimiser les caméras pour de nombreuses tâches telles que la gamme dynamique élevée, la profondeur de champ (EDOF), la profondeur de défocalisation (DFD), la détection d'objets, l'estimation de la pose, etc. Cependant, l'optimisation de la caméra est Cependant, l'optimisation de la caméra n'est faite que pour une seule tâche. En revanche, nous proposons une étude sur la conception conjointe multitâche d'un système d'imagerie pour EDOF et DFD. Nous modélisons et optimisons un triplet de Cooke en utilisant le traçage de rayon différentiable, et nous comparons les performances pour les tâches DFD et EDOF, dans un schéma d'optimisation unique, parallèle et collaboratif. Nous montrons comment une tâche peut bénéficier du résultat de l'autre tâche. Nous explorons également l'avantage de l'information de position locale pour traiter des images avec des fonctions d'étalement de point variant dans l'espace pour traiter des images dont les fonctions d'étalement du point varient dans l'espace en fonction des aberrations du champ optique.
Fichier non déposé

Dates et versions

hal-04718782 , version 1 (02-10-2024)

Licence

Identifiants

Citer

Marius Dufraisse, Rémy Leroy, Pauline Trouvé-Peloux, Frédéric Champagnat, Jean-Baptiste Volatier. Multitask deep co-design for extended depth of field and depth from defocus. 2024 - Unconventional Optical Imaging IV, Apr 2024, Strasbourg, France. pp.72, ⟨10.1117/12.3017194⟩. ⟨hal-04718782⟩
0 Consultations
0 Téléchargements

Altmetric

Partager

More