Ajouter une modalité complementaire sans annotations
Résumé
L'entraînement de réseaux de neurones profonds pour la vision par ordinateur nécessitent des jeux de données de grande taille, dont l'annotation est particulièrement coûteuse et dépend de la tâche visée. Nous nous intéressons dans cet article à l'ajout d'une nouvelle modalité dans les données, et proposons une méthode tirant parti de cette nouvelle modalité pour offrir des performances accrues sans pour autant nécessite une nouvelle phase d'annotation. Plus précisément, nous suggérons de réutiliser les données précédemment annotées sur une seule modalité à l'aide d'un pseudo-étiquetage via un auto-entraînement, en générant d'une part des pseudo-labels sur nos données avec les deux modalités, et d'autre part une estimation de la seconde modalité pour les données étiquetées. Nous illustrons l'intérêt de cette méthode pour la segmentation sémantique sur des données RVB-Profondeur, et montrons qu'il peut être plus intéressant d'ajouter une modalité sans annotation plutôt que de n'utiliser qu'une sous-partie annotée d'un jeu de données.
Origine | Fichiers produits par l'(les) auteur(s) |
---|