Self-supervision versus synthetic datasets: which is the lesser evil in the context of video denoising?
Auto-supervision versus base de données synthétiques : quel est le moindre mal dans le cadre du débruitage vidéo ?
Résumé
Supervised training has led to state-of-the-art results in image and video denoising. However, its application to real data is limited since it requires large datasets of noisy-clean pairs that are difficult to obtain. For this reason, networks are often trained on realistic synthetic data. More recently, some self-supervised frameworks have been proposed for training such denoising networks directly on the noisy data without requiring ground truth. On synthetic denoising problems supervised training outperforms self-supervised approaches, however in recent years the gap has become narrower, especially for video. In this paper, we propose a study aiming to determine which is the best approach to train denoising networks for real raw videos: supervision on synthetic realistic data or self-supervision on real data. A complete study with quantitative results in case of natural videos with real motion is impossible since no dataset with clean-noisy pairs exists. We address this issue by considering three independent experiments in which we compare the two frameworks. We found that self-supervision on the real data outperforms supervision on synthetic data, and that in normal illumination conditions the drop in performance is due to the synthetic ground truth generation, not the noise model.
L'entraînement supervisé a conduit à l'état de l'art en débruitage d'images et de vidéos. Cependant, son application aux données réelles est limitée car il nécessite de grandes bases de données formées de paires donnée bruitée / donnée vérité-terrain et celles-ci sont difficiles à obtenir. Pour cette raison, les réseaux de neurones sont souvent entraînés sur des données certes réalistes mais synthétiques. Plus récemment, des entraînements auto-supervisés ont été proposés pour entraîner de tels réseaux de débruitage directement sur les données bruitées et sans nécessiter de vérités-terrain. Pour le problème de débruitage sur des données synthétiques, les entraînements supervisés conduisent à de meilleurs résultats que les entraînements auto-supervisés, toutefois depuis quelques temps l'écart entre les deux approches s'est réduit, et plus particulièrement dans le cas des vidéos. Dans cet article, nous proposons une étude visant à déterminer quelle approches est la plus adaptée pour l'entraînement de réseaux de débruitage de données brutes réelles : la supervision sur des bases de données synthétiques ou l'auto-supervision sur les données réelles. Une étude complète avec des résultats quantitatif dans le cas de vidéos naturelles avec mouvement réel est impossible car aucune base de données avec des paires de données bruitée / vérité-terrain n'existe. Nous contournons ce problème en considérant trois expériences indépendantes dans lesquelles nous comparons les deux approches. Nous avons trouvé que l'auto-supervision sur des données réelles conduit à de meilleurs résultats que la supervision sur des données synthétiques et que dans des conditions normales d'illumination, la baisse de performance est due à la synthèse des vérités-terrain synthétiques et non au modèle de bruit.
Domaines
Vision par ordinateur et reconnaissance de formes [cs.CV] Applications [stat.AP] Traitement des images [eess.IV] Traitement du signal et de l'image [eess.SP] Mathématique discrète [cs.DM] Calcul [stat.CO] Réseau de neurones [cs.NE] Intelligence artificielle [cs.AI] Apprentissage [cs.LG] Machine Learning [stat.ML]| Origine | Fichiers produits par l'(les) auteur(s) |
|---|