A Novel No-Reference Point Clouds Quality Metric using Transformer Similar Architecture - Archive ouverte HAL Accéder directement au contenu
Communication Dans Un Congrès Année : 2023

A Novel No-Reference Point Clouds Quality Metric using Transformer Similar Architecture

Résumé

With the increasing popularity of immersive experiences, point cloud has emerged as the preferred method for representing 3D media. However, there are several potential distortions that can impact the 3D content throughout the acquisition and rendering processes. Additionally, transmitting volumetric content efficiently over tradition al communication systems can negatively impact the perceived quality of the delivered content. To accurately assess the extent of this degradation, quality metrics are necessary. This paper presents a new deep-based no-reference quality metric that can evaluate the point cloud directly, without requiring extensive pre-processing. This metric can be used for real-time evaluation at both the transmission and rendering levels. Our proposed approach utilizes a novel model design that includes cross and self-attention layers to learn local semantic affinities and maintain the optimal combination of geometry and color information across multiple levels, from basic feature extraction to deep representation modeling.
Avec l’augmentation de la popularité des expériences immersives, le nuage de points est devenu la méthode préférée pour représenter les médias 3D. Cependant, il existe plusieurs distorsions potentielles qui peuvent affecter le contenu 3D tout au long des processus d’acquisition et de rendu. De plus, la transmission efficace de contenu volumétrique sur des systèmes de communication traditionnels peut avoir un impact négatif sur la qualité perçue du contenu livré. Pour évaluer avec précision l’étendue de cette dégradation, des métriques de qualité sont nécessaires. Ce travail présente une nouvelle métrique de qualité sans référence basée sur l’apprentissage profond qui peut évaluer le nuage de points directement, sans nécessiter de pré-traitement important. Cette métrique peut être utilisée pour une évaluation en temps réel à la fois au niveau de la transmission et du rendu. Notre approche proposée utilise une conception de modèle novatrice qui comprend des couches d’attention croisée et d’auto-attention pour apprendre les affinités sémantiques locales et maintenir la combinaison optimale d’informations de géométrie et de couleur à plusieurs niveaux, de l’extraction de fonctionnalités de base à la modélisation de représentation profonde.
Fichier principal
Vignette du fichier
2023_Gretsi_Tliba_et_al.pdf (442.8 Ko) Télécharger le fichier
Origine : Fichiers produits par l'(les) auteur(s)

Dates et versions

hal-04168916 , version 1 (22-07-2023)

Identifiants

  • HAL Id : hal-04168916 , version 1

Citer

Marouane Tliba, Aladine Chetouani, Giuseppe Valenzise, Frédéric Dufaux. A Novel No-Reference Point Clouds Quality Metric using Transformer Similar Architecture. GRETSI 2023 - XXIXème Colloque Francophone de Traitement du Signal et des Images, Aug 2023, Grenoble, France. ⟨hal-04168916⟩
37 Consultations
50 Téléchargements

Partager

Gmail Facebook X LinkedIn More