Les grands instruments (Clusters, Grilles, Cloud) dans le quotidien du scientifique du XXIème siècle


Centre de formation des doctorants à l'insertion professionnelle (CFDIP)

Catégorie de la formation  : Outils informatiques et numériques

Christophe Cérin
christophe.cerin [at] lipn.univ-paris13.fr

Saison 2014 - 2015

Suite à la rénovation de son cluster de calcul, l'université de Paris 13 à mis en place depuis deux ans plusieurs formations, à destination des chercheurs et à destination des doctorants, pour utiliser cette plateforme. Cela a été l'occasion de rassembler des compétences en formation sur les outils et les méthodes (calcul numérique) et de s'ouvrir largement à ce qui est maintenant possible de faire, dans son quotidien, avec un grand instrument. On entend par grand instrument un cluster, une grille ou un cloud. Il ne s'agit pas d'étudier les méthodes numériques ou autre aspect pointu en liaison avec un cluster, mais d'apporter des éléments de réflexion pour que le scientifique puisse, selon son processus métier, intégrer l'usage des grands instruments dans son quotidien.

Dans cette formation, nous défendons la méthode scientifique expérimentale (modélisation, analyse, passage devant la machine (grand instrument), retours sur les résultats expérimentaux) et plus particulièrement tout ce qui est en liaison avec le «passage sur le grand instrument ». Cela peut considérer le point « Comment soumettre un travail ?» mais aussi tous les points d'ordre généraux relevant de l'expérience en elle même : capacité à reproduire une expérience, description de l'expérience pour permettre sa reproductibilité, quels sont les contenus (environnements, binaires, scripts, configurations) à conserver et à diffuser ? Nous souhaitons accompagner le mouvement actuel qui va vers une augmentation de la qualité expérimentale, via la diffusion des processus expérimentaux.

Il s'agit donc d'offrir une culture générale d'accès aux grands instruments en s'ouvrant aux usages des Clusters, Grilles et Clouds. La formation est professionnalisante dans le sens où les personnes passeront, de manière systématique, devant ces grands instruments et elles le feront avec une certaine méthodologie. La formation est ancrée dans le concret avec une incise toute particulière dans l'utilisation et la pratique. Le public visé est donc tout scientifique, indépendamment de sa discipline, qui souhaite acquérir une culture de base pour utiliser les grands instruments informatiques. Cette formation pourra se compléter ultérieurement par des formations plus pointues telles qu'elles sont délivrées dans les grands centres de calcul nationaux comme l'Idris. Notre formation se veut être au plus prêt des utilisateurs de la communauté USPC.

Modalités pratiques : les personnes sont priées de s'inscrire à partir du site http://monintranet.univ-paris13.fr/formulaires/module_calcul_scientifique/. Il convient de venir aux sessions avec un portable équipé d'un client ssh (du genre putty sur windows) : une simple connexion Wifi est nécessaire. Les personnes qui s'inscrivent s'engagent à suivre l'intégralité des sessions. Les sessions donnent lieu à des travaux pratiques.

Publics visés : étudiants en doctorat ainsi que les chercheurs des différents laboratoires scientifiques de USPC.

Au terme de la formation, la personne saura utiliser :

En résumé, au terme de la formation, la personne se sera approprié les différents usages de ces grands instruments, et pour chacun d'eux, les usages spécifiques que l'on peut en faire. Par exemple, pour le grand instrument Cluster, la personne fera désormais la distinction entre les usages des GPU (Graphical Processor Unit) et les usages du patron de programmation MapReduce pour traiter des grands volumes de données.

Pré-requis (en termes de compétences, expériences préliminaires, motivation) : la personne désirant suivre cette formation aura une expérience d'utilisation d'un ordinateur de bureau (PC, Mac), notamment l'utilisation d'un navigateur. Cependant nous introduisons toutes les notions de base liées au système d'exploitation (Linux) et nécessaires (connexions distantes, commandes de base de Linux, notions de base de Linux). La personne devra être motivée pour suivre un cours général d'informatique qui touche aux aspects Système (ensemble complexe d'éléments de même nature ou de même fonction) et architecturaux des grands instruments.

Table 1: Liste des modules





Nom du module Contenu du module Intervenant Date








ATTENTION : la séance du 28 janvier est annulée

Système d'exploitation Linux. Mise en oeuvre pour l'accès au Cluster Magi. (nicolas.greneche@univ-paris13.fr)
  • Introduction au système d'exploitation Linux. Notion d'interpréteur de commandes ; Architecture ; Principales commandes Linux ; Problématiques de l'accès sécurisé : protocole de communication sécurisé, installation d'un client et utilisation, notions de clé publique / clé privée ;
  • Prise en main du cluster Magi. Procédure d'inscription ; Présentation de la machine (Topologie, Spécificités matérielles) ; Procédure de création d'un compte ; Utilisation de la machine : connexion, gestion des répertoires, compilation d'un programme ; Ressources documentaires (blog, wiki) ;
  • Calcul scientifique pour les non informaticiens : hiérarchies des ressources (noeud, processeur, coeur) ; Mode interactif / mode bach ; Notions d'ordonnanceur des travaux et de système de soumission ; Cas d'utilisation : SLURM.
Nicolas Grenèche (2 * 7H ; dates : mercredi 21 et 28 janvier 2015, en salle T204 à l'IUT de Villetaneuse - 09-12:30 et 14-17:30)








Calcul scientifique numérique. Du séquentiel au parallèle. Des machines à mémoire distribuée à celles à mémoire commune, aux GPU (Graphical processor Unit)
(scarella@math.univ-paris13.fr et cuvelier@math.univ-paris13.fr)
  • Quelques outils pour le calcul scientifique. Dans cette présentation, on parlera de logiciels couramment utilisés en calcul scientifique, notamment pour la résolution d'équations aux dérivées partielles. On s'intéressera notamment à Matlab, FreeFem++ et PETSc. Des exemples d'utilisation parallèle seront donnés. Enfin, d'autres logiciels disponibles sur le cluster Magi seront rapidement abordés.
  • Principe de programmation sur GPU. notions de base du langage CUDA (Nvidia). Travaux pratiques : compilation et exécution de codes ; Calculs sur GPU sous Matlab.
Gilles Scarella et François Cuvelier (9:00-12:00 et 13:30-16:30 ; date : 11 mars 2015, salle T204 IUT de Villetaneuse)








Calcul scientifique sur grille
(detourna@apc.univ-paris7.fr)
  • Objectif : Présenter les organisations de grilles haute-performance-computing, grilles high-throughput, systèmes pair à pair, calcul global, les différents environnements de résolution répartie de problèmes et les architectures générale des intergiciels. Appréhender les principales problématiques des grilles : partage de ressources, ordonnancement, sécurité, gestion de données.
  • description des différentes briques de base constituant la grille, réservation et monitoring de ressources, accès, ainsi que les méthodologies de gridification d'un programme, dans la perspective spécifique des grilles : dynamicité, sécurité, tolérance aux fautes'
  • Etude de cas : la plateforme Globus, principal intergiciel utilisé pour la gestion des grilles, sera présentée plus en détail.
  • Travaux pratiques
Michèle Detournay (4H ; date : avril 2015)








Autour du patron d'architecture MapReduce (Gilles.Fedak@inria.fr)
  • Principes du modèle de programmation MapReduce ;
  • Traitements parallèles de données avec Hadoop ;
  • Environnements d'exécutions MapReduce (architectures, performances, optimisations) ;
  • Pratique : programmation Hadoop.
Gilles Fedak (7H ; date : mai 2015)








Grille de PC ; Cloud Computing (christophe.cerin@lipn.univ-paris13.fr)
  • Grille de PC : architectures et leurs évolutions ; principaux intergiciels (BOINC, Condor, OurGrid, XtremWeb, PastryGrid) ; Principe de la coordination d'intergiciels avec BonjourGrid ; Aspects avancés ; Mise en oeuvre dans le cours sur le Cloud SlapOS ;
  • Introduction au Cloud : principes architecturaux ; Exemples : OpenStack, OpenNebula, Libcloud ;
Christophe Cérin (3H ; date : juin 2015)








Informatique en nuage (alain.takoudjou@lipn.univ-paris13.fr)
  • Installer et utiliser un client SlapOS : architecture de SlapOS, composants clefs ; (2H)
  • Requiérir des instances logicielles : comment créer des instances de KVM, Mysql, Kumofs, BOINC...Comment utiliser Web Runner ; (2H)
Alain Takoudjou (4H ; date : juin 2015)









Texte remplaçant l'image