Deploying the 4P high-throughput phenotyping data processing platform on the France Grilles infrastructure
Déploiement de la plateforme de traitement des données phénotypage haut débit 4P sur l’infrastructure France Grilles.
Résumé
The PHENOME-EMPHASIS [1] project, involving INRA, Arvalis and Terres-Inovia, aims to develop high-throughput phenotyping infrastructures at national level. Field acquisition systems (Unmanned Aerial and Ground Vehicules) carry various sensors (high-resolution RGB, multispectral and thermal infrared cameras, LIDARs) which generate a large volume of images that must be processed, stored and archived.
The prototypes of the data processing chains developed by the UMT CAPTE [2] have been industrially produced and integrated into the Plant Phenotyping Processing Platform (4P). These modules encapsulated in Docker containers can be sequenced in workflows based on the Cromwell processing engine. Docker Swarm is used to distribute container execution on a cluster.
The raw and processed data are stored on a distributed architecture based on iRODS technology.
The 4P platform is connected to the PHIS information system [3] in order to store and organise the data produced by the PHENOME-EMPHASIS project, according to the FAIR principles.
The 4P platform is fully integrated into the France Grilles infrastructure [4], a shared infrastructure for the calculation and storage of scientific data that provides different services to users.
To deploy the 4P platform, we used the FG-CLOUD service for the application part and the FG-IRODS service for the persistent data storage part.
The poster will detail the functionalities offered by the 4P platform, the technologies used and the technical infrastructure, in particular the integration within PHIS and France Grilles.
[1] https://www.phenome-emphasis.fr/
[2] https://www6.paca.inra.fr/emmah/Programme-scientifique-et-Equipes/Equipe-CAPTE
[3] http://www.phis.inra.fr
[4] http://www.france-grilles.fr
Le projet PHENOME-EMPHASIS [1], associant l’INRA, Arvalis et Terres-Inovia ambitionne de développer des infrastructures de phénotypage haut-débit au niveau national. Les systèmes d’acquisitions au champ (drone, phenomobile) embarquent différents capteurs (caméras haute résolution RGB, multispectrales et infra-rouge thermique, LIDARs) qui génèrent un volume important d’images qu’il convient de traiter, stocker et archiver.
Les modules de traitement prototypes créés par l’UMT CAPTE [2] ont été industrialisés et intégrés dans la plateforme de traitement des données 4P (Plant Phenotyping Processing Platform). Ces modules encapsulés dans des containeurs Docker peuvant être enchaînés dans des workflows s’appuyant sur le moteur de traitements Cromwell. Docker Swarm permet de distribuer l’exécution des conteneurs sur un cluster.
Les données brutes et les traitements sont stockés sur une architecture distribuée basée sur la technologie iRODS.
La plateforme 4P est connectée au système d’information PHIS [3] ayant pour objectif de stocker et d’organiser les données produites dans le cadre du projet PHENOME-EMPHASIS selon les principes FAIR.
La plateforme 4P est pleinement intégrée à l’infrastructure France Grilles [4], une infrastructure mutualisée pour le calcul et le stockage de données scientifiques qui fournit différents services aux utilisateurs.
Pour le déploiement de la plateforme 4P nous nous sommes appuyés sur le service FG-CLOUD pour la partie applicative et sur le service FG-IRODS pour la partie stockage persistant des données.
Le poster détaillera les fonctionnalités offertes par la plateforme 4P, les technologies utilisées, l’infrastructure technique en particulier l’intégration avec PHIS et France Grilles.
[1] https://www.phenome-emphasis.fr/
[2] https://www6.paca.inra.fr/emmah/Programme-scientifique-et-Equipes/Equipe-CAPTE
[3] http://www.phis.inra.fr
[4] http://www.france-grilles.fr
Domaines
Autre [cs.OH]
Fichier principal
poster_paper134_poster_rev5246_20191028_104429.pdf (886.4 Ko)
Télécharger le fichier
author_paper134_article_rev4915_20191011_114005.pdf (1.42 Mo)
Télécharger le fichier
jres2019_article_134_720.mp4 (264.93 Mo)
Télécharger le fichier
Origine | fileSource_public_poster |
---|
Format | typeAnnex_author |
---|
Format | Vidéo |
---|