Cartes de saillance et évaluation de la qualité des maillages 3D - Archive ouverte HAL Accéder directement au contenu
Thèse Année : 2016

Salience maps and quality evaluation of 3D meshes

Cartes de saillance et évaluation de la qualité des maillages 3D

Anass Nouri
  • Fonction : Auteur
  • PersonId : 967034

Résumé

The glance of eachhuman being is attracted by specific areas into 3D objects (that can be represen- ted bymeshes). This attraction depends on the degree of saliency exposed by these areas. The first goal of this thesis is to propose an approach for detecting visual salient areas on 3D non-colored meshes. We consider that a vertex as salient if it strongly stands out from its local neighborhood and if its geometric configuration is different from its adjacent vertices. For this, we characte- rize the surface of the 3D mesh by the use of a local vertex descriptor in the form of an adaptive patch. This descriptor is used as a basis for similarity computation and integrated into a weighted multi-scale saliencycomputation.We propose also an extension of our visual saliencymodel to 3D colored meshes. Four saliency-based applications were developed after the validation of the saliency detection re- sults with a pseudo ground truth. The first and the second one concern respectively the optimal viewpoint selection and the adaptive compression of 3D non colored meshes. The third one shar- pens the details of a 3D colored mesh, and the fourth smooths adaptively its colors. The second aim is to propose a novel perceptual full reference metric for the quality assess- ment of 3D meshes. Given a 3D reference mesh (reputed devoid from any distorsions) and a 3D distorted mesh as inputs of this metric, the goal is to assess the perceived quality of the distorted mesh by providing a fidelity score which must be as close as possible to the humans scores. As vi- sual saliency is a pertinent information for our visual system, its use in the pipeline of the quality metric is natural. We use two properties of 3D meshes for evaluating their perceived quality : the visual saliency and the roughness. The multi-scale saliency map is used for the extraction of the structural informations of the 3D mesh and the roughness map for the account of the visual mas- king effect. We introduce 4 comparison functions between 2 corresponding local neighborhoods in order to estimate the structural differences between them. We combine these functions with a weighted Minkowski sum so as to obtain a final quality score. The third objectif of this thesis is to provide an approach for the difficult problem of the no reference qualityassessment of 3Dmeshes. On the contrary to full referencemetrics, this category is considered as the thorniest since the reference version of the 3D mesh is not used. Similarly to the full reference metric, we suppose that the visual quality of a 3D mesh is more affected when the salient areas of the mesh are affected and vice versa. We begin bysegmenting themesh into anumber of Superfacets which represent the local patches in this context. Then we affect to each vertex of a Superfacet its respective values of saliency and roughness. Afterward, we extract four local characteristics of each Superfacet(mean saliency, standard-deviation saliency, covariance saliency and mean roughness). Variations of these 4 cha- racteristics quantify effectively the distorsions that a mesh may undergo. Finally, we perform a learning step based onSVMs (Support VectorsMachines) using the constructed feature vector : to move from a vectorial representation to a final quality score, we use a regression SVM scheme.
Le regard de tout être humain est attiré par des régions particulières appartenant aux objets (pouvant être représentés par des maillages 3D). Cette attractivité dépend fortement du degré de saillance exposé par ces régions. Le premier objectif de cette thèse est de proposer et de mettre en oeuvre un modèle permettant de détecter automatiquement les zones saillantes sur les maillages 3D non colorés. Nous considérons qu’un noeud du maillage est saillant s’il ressort fortement de son voisinage local et si sa configuration géométrique est différente de celle de ses voisins adjacents. Pour cela nous caractérisons la surface du maillage par un descripteur local sous forme de patch de taille adaptative. Ce dernier est utilisé dans le calcul des similarités et intégré dans le calcul de la carte saillance multi-échelle. Nous proposons également une extension de ce modèle pour la détection de la saillance des maillages colorés. Quatre applications basées sur le modèle de saillance proposé ont été développées après la validation des résultats de notre modèle sur des maillages non colorés issus d’une pseudo vérité terrain. Les premières et deuxièmes applications concernent respectivement la sélection automatique des points de vues optimaux et la compression adaptative des maillages 3D non colorés. Les troisièmes et quatrièmes applications s’inscrivent respectivement dans le cadre de l’amélioration de détails et du lissage adapatatif des maillages 3D colorés. Le deuxième objectif de cette thèse consiste à proposer une métrique d’évaluation de la qualité avec référence des maillages 3D. En mettant en entrée de cette métrique un maillage original (supposé parfait sans dégradation) et un deuxième maillage dégradé, le but sera d’évaluer le degré de fidélité du maillage dégradé relativement à sa version de référence en fournissant un score de de fidélité qui soit le plus proche possible des scores fournis par les observateurs humains. Étant donné que la saillance visuelle est une information pertinente pour notre système visuel, son utilisation dans le pipeline de la métrique est naturel. Nous utilisons deux propriétés des maillages 3D pour évaluer objectivement la qualité : la saillance multi-échelle et la rugosité. En effet, la carte de saillance servira à l’extraction des informations structurelles du maillage 3D et la carte de rugosité à la prise en compte de l’effet de masquage visuel. Nous introduisons quatre fonctions de comparaisons entre deux voisinages locaux correspondants des deux maillages pour estimer les différences structurelles entre eux. Nous combinons ces dernières par une somme de Minkowski pondérée pour obtenir le score de qualité final. Le troisième objectif de cette thèse s’inscrit dans la mise en oeuvre d’une métrique d’évaluation de la qualité sans référence d’un maillage 3D. Contrairement à une métrique avec référence, cette catégorie de métriques est considérée comme la plus épineuse pour évaluer objectivement la qualité d’un maillage dégradé dans la mesure où la version de référence du maillage n’est pas utilisée. Similairement à la métrique avec référence, nous supposons que la qualité visuelle d’un maillage 3D est davantage dépréciée lorsque les régions saillantes du maillage sont affectées et vice-versa. Nous commençons par segmenter le maillage en un nombre de superfacettes qui joueront le rôle de patchs locaux dans ce contexte. Nous affectons à chaque noeud d’une superfacette ses valeurs de saillance et de rugosité respectives puis nous extrayons quatre caractéristiques locales de chaque superfacette (moyenne de la saillance, écart type de la saillance, covariance de la saillance et la moyenne de la rugosité). Les variations de ces quatre caractéristiques quantifient les distorsions que peut subir un maillage. Finalement, nous effectuons un apprentissage basé sur les Séparateurs à Vastes Marges (SVM) en utilisant le vecteur de caractéristiques construit : puis pour passer d’une représentation vectorielle du maillage à un score de qualité final, nous utilisons une régression par SVMs.
Fichier principal
Vignette du fichier
These_finale2016_AnasNouri.pdf (23.72 Mo) Télécharger le fichier

Dates et versions

tel-01418334 , version 1 (16-12-2016)

Identifiants

  • HAL Id : tel-01418334 , version 1

Citer

Anass Nouri. Cartes de saillance et évaluation de la qualité des maillages 3D . Vision par ordinateur et reconnaissance de formes [cs.CV]. Normandie Université, France, 2016. Français. ⟨NNT : ⟩. ⟨tel-01418334⟩
471 Consultations
442 Téléchargements

Partager

Gmail Facebook X LinkedIn More