Retour d'expérience sur la mise en place d'une grappe de calcul à usage interactif pour les neurosciences - Archive ouverte HAL
Poster De Conférence Année : 2013

Retour d'expérience sur la mise en place d'une grappe de calcul à usage interactif pour les neurosciences

Résumé

L’Institut de Neurosciences de la Timone (INT) a déployé depuis le 1er janvier 2012 un environnement de calcul hautement disponible interfacé à un système de fichiers parallèle pour le traitement et le stockage de données en neurosciences. Cet environnement est constitué d’une grappe de calcul comportant une tête et 16 nœuds de calcul fonctionnant sous Debian stable, accédant à une grappe de stockage Panasas PAS12 avec accès parallèle (DirectFlow) qui sert également de stockage partagé pour l’ensemble de l’Institut. En raison des besoins spécifiques des utilisateurs de l’Institut, cette grappe de calcul utilise une configuration et une mode de fonctionnement qui diffèrent de ceux généralement mis en œuvre dans ce type d'environnement. Cette solution peut ainsi intéresser d’autres organisations dont les utilisateurs ont des besoins similaires, à savoir : 1. une grande simplicité d’utilisation pour des utilisateurs non experts en calcul scientifique, 2. le besoin d’utilisation d’une grande variété d’applications d’un domaine (ici les neurosciences), en particulier d’applications graphiques et interactives, 3. des besoins limités en calcul parallèle au cas trivial de lancement de calculs indépendants (pas de besoins en calcul massivement parallèle), 4. la possibilité d’accéder à distance à la solution depuis des postes sous Windows, Mac OS, et Linux, y compris à travers des connexions au débit limité, 5. simplicité d’administration de la solution. L’utilisation d’une grappe de calcul nécessite généralement l’utilisation d’un ordonnanceur par les utilisateurs. Notre solution se base bien sur un ordonnanceur, le gestionnaire libre OAR, mais les utilisateurs ne l’utilisent pas directement. Pour simplifier au maximum l’utilisation, un jeu réduit de commandes d’habillage a été conçu sous la forme de scripts Python, permettant en particulier l’ouverture de sessions interactives et le lancement en parallèle de tâches de calcul non interactives indépendantes sur les nœuds de calcul. En plus du traditionnel accès distant via SSH avec déport X11, l’accès à la grappe peut se faire via la technologie NX, permettant une utilisation confortable même à travers une connexion au débit limitée, avec affichage d’un bureau graphique Gnome complet. Pour faciliter l’administration de la grappe de calcul, les nœuds utilisent une configuration diskless de leur système d’exploitation. De plus, l’ensemble des installations et mise à jour d’applications se fait à l’aide d’apt, le gestionnaire de paquets de Debian, en s’appuyant sur les dépôts fournis par les projets Debian (debian.org) et Neurodebian (neuro.debian.net), et en construisant nos propres paquets pour les logiciels non disponibles dans ces dépôts. Notre présentation précisera les besoins de nos utilisateurs et expliquera le choix des différentes solutions retenues ainsi que les problématiques rencontrées lors de la mise en place de la solution. Nous parlerons également de l’investissement financier et humain pour construire et maintenir cette solution. Nous terminerons par un bilan sur la solution et son utilisation actuelle.
Fichier principal
Vignette du fichier
poster_jres_2013_colombet_jaillet.pdf (674.91 Ko) Télécharger le fichier
Origine Fichiers produits par l'(les) auteur(s)
Licence
Copyright (Tous droits réservés)

Dates et versions

hal-03662837 , version 1 (09-05-2022)

Licence

Copyright (Tous droits réservés)

Identifiants

  • HAL Id : hal-03662837 , version 1

Citer

Jérôme Colombet, Florent Jaillet. Retour d'expérience sur la mise en place d'une grappe de calcul à usage interactif pour les neurosciences. Congrès JRES : Les Journées Réseaux de l'Enseignement et de la Recherche, Dec 2013, Montpellier, France. . ⟨hal-03662837⟩
43 Consultations
189 Téléchargements

Partager

More