Évaluation de la qualité de nuages de points 3D sans référence en utilisant un transformer et la saillance visuelle - Archive ouverte HAL Accéder directement au contenu
Communication Dans Un Congrès Année : 2023

Évaluation de la qualité de nuages de points 3D sans référence en utilisant un transformer et la saillance visuelle

Résumé

In this work, we propose a deep learning-based approach that benefits from the advantage of the self-attention mechanism in Transformers to accurately predict the perceptual quality score of degraded point clouds (3DPC). Additionally, we introduce the use of saliency maps to reflect the behavior of the human visual system, which is attracted to certain specific regions compared to others during evaluation. To do this, using a virtual camera with pre-defined angles relative to the object, each 3DPC is projected onto different 2D images (i.e. views). We then weight the projected images obtained with their corresponding saliency maps. After that, we remove majority of the background information by extracting salient patches. The latter are then introduced to the Vision Transformer (ViT) to extract global contextual information and predict patch quality scores. Finally, we calculate the average of scores of all salient patches to obtain the final quality of the 3DPC. The performance of our model has been evaluated on two 3D point cloud quality evaluation databases: ICIP2020 and SJTU. Experimental results show that our model achieves good performance compared to state-of-the-art methods.
Dans ce travail, nous proposons une approche basée sur l'apprentissage profond qui bénéficie de l'avantage du mécanisme d'auto-attention dans les Transformers pour prédire avec précision le score de qualité perceptuelle des nuages de points (3DPC) dégradés. De plus, nous avons introduit l'utilisation de cartes de saillance pour refléter le comportement du système visuel humain qui est attiré par certaines régions spécifiques par rapport à d'autres lors de l'évaluation. Pour ce faire, en utilisant une caméra virtuelle avec des angles pré-définis par rapport à l'objet, chaque 3DPC est projeté sous différentes vues 2D. Ensuite, nous pondérons les images projetées obtenues avec leurs cartes de saillance correspondantes. Après cela, nous éliminons la majorité des informations de fond en extrayant des patchs saillants. Ces derniers sont envoyés en entrée d'un modèle Vision Transformer (ViT) afin d'extraire les informations contextuelles globales et de prédire les scores de qualité des patchs. Enfin, nous calculons la moyenne des scores de tous les patchs saillants pour obtenir la qualité finale du 3DPC. Les performances de notre modèle ont été évaluées sur deux bases de données de l'évaluation de la qualité de nuages de points 3D : ICIP2020 et SJTU. Les résultats expérimentaux montrent que notre modèle atteint de bonnes performances par rapport aux méthodes de l'état de l'art.
Fichier non déposé

Dates et versions

hal-04129360 , version 1 (15-06-2023)

Identifiants

  • HAL Id : hal-04129360 , version 1

Citer

Salima Bourbia, Ayoub Karine, Aladine Chetouani, Mohammed El Hassouni, Maher Jridi. Évaluation de la qualité de nuages de points 3D sans référence en utilisant un transformer et la saillance visuelle. Colloque Francophone de Traitement du Signal et des Images (GRETSI) 2023, Aug 2023, Grenoble, France. ⟨hal-04129360⟩
25 Consultations
0 Téléchargements

Partager

Gmail Facebook X LinkedIn More