OpenData for simulation and experimentation at LEGI
OpenData pour la simulation et les expérimentations au LEGI
Résumé
Le LEGI s’est engagé depuis de nombreuses années dans la voie de l’OpenData. À l’origine, il y a une dizaine d’années, il s’agissait de partager le résultat de simulations numériques de dynamique océanique à l’aide d’un serveur interne DAP. Avec l’explosion de la pratique de l’OpenScience, mettre à disposition ses données à la communauté s’est généralisée au sein du laboratoire.Le LEGI est fortement impliqué dans la problématique de l’OpenData au travers des données obtenues sur la plateforme CORIOLIS, l’une des grandes installations expérimentales du projet européen Hydralab+ (2015-2019). Des chercheurs du monde entier viennent y réaliser des expériences et la commission européenne impose la diffusion libre des données acquises dans le cadre de ces programmes après une période d’embargo de deux ans. Dans le cadre d’Hydralab+ un Joint Research Activity (JRA) est dédié à ces aspects OpenData.Les données acquises sur la plateforme CORIOLIS sont principalement des images et des champs de vitesse organisés en dossiers par numéro d’expérience et nom de caméra, sauvés sous des formats standards, pérennes, multi-plateformes et multi-langages (PNG, NetCDF, XML). Cette organisation des données permet à une personne extérieure au projet initial de reprendre des anciennes données et de les analyser. Un point important pour la compréhension des données est d’associer à chaque projet une page web (wiki), décrivant le cadre des expériences ainsi que le jeu de paramètres de chaque essai.Dans le cadre de simulations numériques sur le transport sédimentaire, la démarche complète de l’OpenData a été accomplie. Les données ayant permis la réalisation des courbes et des tableaux d’une publication ont été téléversées sur Zenodo sous licence libre. Le choix des données pertinentes et leurs mises en forme sous format pérenne, l’explication de l’organisation des données, ont permis de développer un certain savoir-faire que nous nous efforçons de généraliser aux données issues de la plateforme CORIOLIS.Les archives Zenodo sont effectivement une solution pour l’archivage des données associées à une publication et permettent à une personne de reprendre les données et de reproduire les courbes. Afin de rendre la construction des archives Zenodo plus robuste et plus facile pour les utilisateurs, nous avons développé un fichier de meta-données (PROJECT-META.yml) de type clef / valeur permettant de vérifier la présence de clefs et ainsi de générer automatiquement un certain nombre de fichiers (README, AUTHOR, LICENCE...) pour finalement créer la ou les archives Zenodo associées.Cependant, les archives Zenodo sont limitées en termes de taille (50 Go) et d’accès (téléchargement complet de l’archive). Notre serveur DAP (en pratique une instance OpeNDAP) possède l’avantage de ne pas imposer de quota et de permettre le téléchargement partiel des données ou une lecture directe en ligne.Enfin, pour rendre les données diffusées plus compréhensibles et utilisables par la communauté nous avons développé des notebooks Python disponibles via github et utilisables facilement avec Binder (un Jupyter ouvert à tous). Ainsi, grâce à un outil visuel non hébergé au LEGI (Jupyter / Binder / Python), il est possible de visualiser les données OpenData du LEGI sans aucun téléchargement sur son poste de travail.
* Présentation PDF - https://gt-donnees2018.sciencesconf.org/data/05_G_Moreau_LEGI_2018_11_opendata.pdf
* Vidéo de la présentation - https://webcast.in2p3.fr/video/opendata-pour-la-simulation-et-les-experimentations-au-legi
Origine | Fichiers produits par l'(les) auteur(s) |
---|