Détection des défauts dans les vieux films par apprentissage profond à partir d'une restauration semi-manuelle
Résumé
Detection of defects is the first step in the restoration of old movies. The specificity of our work is to learn the expertise of a film restorer through a pair of sequences consisting of a film with defects, and this same film after semi-manual restoration with the help of a specialized software. In order to detect defects with a minimum of human interaction, and to reduce the time spent on restoration, we feed a U-Netneural network with a sequence of defective images as in-put, in order to detect abnormally high spatio-temporal variations in pixel intensity. The output of the network being the defect mask, we create comparative masks using the differences between the defective and restored versions of the film (those used during restoration not being directly accessible). Our network manages to automatically detect real defects more accurately than manual selections, or even some defects missed by the restoration expert.
La détection des défauts constitue la première étape de la restauration de vieux films. La spécificité de notre travail est d’apprendre l’expertise d’un restaurateur de films au travers d’une paire de séquences constituée d’un film comportant des défauts, et de ce même film après restauration semi-manuelle aidée d’un logiciel spécialisé. Pour détecter les défauts avec un minimum d’interaction humaine, et réduire le temps consacré à la restauration, nous alimentons un réseau de neurones de type U-Net avec une séquence d’images défectueuses en entrée, afin de détecter les variations spatio-temporelles anormalement élevées de l’intensité des pixels. La sortie du réseau étant le masque des défauts, nous créons des masques comparatifs en utilisant les différences entre les versions défectueuse et restaurée du film (ceux utilisés lors de la restauration n’étant pas directement accessibles). Notre réseau réussit à détecter automatiquement les défauts réels plus précisément que les sélections manuelles, voire certains défauts oubliés par l’expert en restauration.
| Origine | Fichiers produits par l'(les) auteur(s) |
|---|