Low-light image restoration with deep learning techniques - Archive ouverte HAL Accéder directement au contenu
Thèse Année : 2023

Low-light image restoration with deep learning techniques

Restauration d’images à faible luminosité à l’aide de méthodes d’apprentissage profond.

Résumé

Nowadays, many fields are evolving to include computer vision algorithms. However, these algorithms have not been designed to operate in night scenes. This severely degrades their performance, which limits their applications. This is due to the severe degradations that occurs when night images are captured. These mainly take the form of a low signal-to-noise ratio and color deviations. In this thesis, we address this problem by seeking to restore them using deep learning methods. Our context forces us to focus on unsupervised methods that do not hallucinate. First, we identify a trivial solution in the decomposition that has been ignored until now. We propose a prior to correct this problem, as well as an restoration method that does not require a dataset. We obtain results close to the state-of-the-art supervised methods. Secondly, we review the definitions of the Retinex model components and propose several improvements to keep them coherent with the physics of light. A GAN-based architecture is then defined. Our method ensures that no hallucination is added to the output. Finally, we unveil the link between our goal and the Schrödinger bridge problem. We integrate physical priors to an optimal transport algorithm based on diffusion models to reverse the degradations.
Aujourd'hui, de nombreux domaines évoluent pour inclure des algorithmes de vision par ordinateur. Or, ceux-ci n'ont pas été conçus pour fonctionner sur des scènes nocturnes. Leurs performances s'en trouvent fortement dégradées ce qui limite leurs applications. Cela est dû aux fortes dégradations lors de la capture d'images de nuit. Elles prennent la forme d'un faible rapport signal à bruit ainsi que de déviations de couleur. Dans cette thèse, nous répondons à cette problématique en cherchant à les restaurer à l'aide de méthodes d'apprentissage profond. Notre contexte nous force à nous concentrer sur des méthodes non supervisées qui n'hallucinent pas. Dans un premier temps, nous identifions une solution triviale au niveau de l'illumination ignorée jusqu'à maintenant. Nous proposons un a priori pour corriger ce problème ainsi qu'une méthode de restauration qui ne nécessite pas de jeu de données d'apprentissage. Nous obtenons des résultats proches des méthodes de l'état de l'art supervisées. Dans un deuxième temps, nous revenons sur les définitions des composantes du modèle Retinex et proposons plusieurs améliorations afin de suivre la physique de la lumière. Une architecture basée GAN est ensuite définie. Notre méthode garantit qu'aucune hallucination n'est ajoutée en sortie. Enfin, dans un dernier temps, nous dévoilons le lien entre notre objectif et le problème du pont de Schrödinger. Nous intégrons des a priori à un algorithme de transport optimal à base de modèles de diffusion afin d'inverser les dégradations.
Fichier principal
Vignette du fichier
LECERT_manuscrit.pdf (54.3 Mo) Télécharger le fichier
Origine : Fichiers produits par l'(les) auteur(s)

Dates et versions

tel-04342921 , version 1 (13-12-2023)
tel-04342921 , version 2 (16-01-2024)

Licence

Paternité

Identifiants

  • HAL Id : tel-04342921 , version 2

Citer

Arthur Lecert. Low-light image restoration with deep learning techniques. Signal and Image Processing. Rennes 1; INRIA, 2023. English. ⟨NNT : ⟩. ⟨tel-04342921v2⟩
73 Consultations
15 Téléchargements

Partager

Gmail Facebook X LinkedIn More