Modèles de fondation pour l'annotation, la segmentation et la reconnaissance de formes - Archive ouverte HAL
Communication Dans Un Congrès Année : 2024

Modèles de fondation pour l'annotation, la segmentation et la reconnaissance de formes

Résumé

Le projet "n-Dame_Heritage", financé par le Conseil Européen de la Recherche (ERC), développe des approches méthodologiques et des outils informatiques innovants pour traiter et analyser les grandes quantités de données générées par l'étude scientifique pluridisciplinaire et la restauration de la cathédrale Notre-Dame de Paris (plus de 30 téraoctets actuellement). L'hétérogénéité de ces données (photographies, nuages de points, documents d'archives, etc) pose un défi pour une analyse multimodale capable de prendre en compte les dimensions spatiale, temporelles et sémantiques. Pour relever ce challenge, nous développons différentes méthodes de deep learning afin de segmenter et annoter automatiquement les images 2D à l'aide de modèles comme Segment Anything Model, DiNO, et CLIP. Les résultats du projet contribueront à une meilleure compréhension de la restauration de Notre-Dame de Paris et pourront également être appliquées à d'autres sites du patrimoine culturel.
GTNum_REBY_nDame2024_PPT.pdf (5.18 Mo) Télécharger le fichier
Origine Fichiers produits par l'(les) auteur(s)
Licence

Dates et versions

hal-04772586 , version 1 (08-11-2024)

Licence

Identifiants

  • HAL Id : hal-04772586 , version 1

Citer

Kévin Réby. Modèles de fondation pour l'annotation, la segmentation et la reconnaissance de formes. n-Dame 2024 : une cathédrale de données numériques et connaissances pluridisciplinaires, Centre National de la Recherche Scientifique (CNRS); Ministère de la Culture; MAP - UPR CNRS 2002, Jun 2024, Marseille, France. ⟨hal-04772586⟩
69 Consultations
0 Téléchargements

Partager

More