Cluster TAL

De wikiRcln
Aller à : navigation, rechercher

Serveur d'applications, démos et hébergement de ressources communs pour le Traitement Automatique des Langues.

Principes

  1. Le cluster TAL est un serveur dédié au développement d'applications de traitement automatiques de langues par l'équipe RCLN et à la mise en ligne des démos où des services web de ces applications.
  2. Tous les membres de l'équipe RCLN peuvent avoir accès au cluster, ainsi que les collaborateurs extérieur au labo associés à un membre de l'équipe RCLN.
  3. Types de machines virtuelles qu'on peut créer à la demande sur le serveur:
    • Production: machine dédiée aux démos des applications en ligne, publiquement accessibles via une interface web où un web service.
    • Développement: machine cassable pour le développement des applications expérimentales.
    • Projet: machine dédiée à un projet de recherche avec la participation des membres extérieurs au labo. Sur cette machine il peut y avoir autant le site web du projet que des outils de développement nécessaires au projet.
    • Ressources: un corpus, une base de donnés où de ressources linguistique à disposition des autres machines virtuelles.
  4. Le serveur a aussi une grille de calcul: une machine dédiée aux applications basées sur l'apprentissage profond où l'apprentissage automatique distribué, équipé d'un GPU Nvidia K2 avec 3200 cœurs.
  5. Dans les machines dédiées au développement, aux projets où aux ressources, un accès sudo est envisageable (ce qui n'est pas le cas pour les machines de production où pour la grille de calcul).

Besoin d'hébergement

Pour chaque machine virtuelle à héberger sur le serveur de production, vous pouvez nous envoyer un mél avec les données suivants:

  1. Nom et description de l'application:
  2. Besoins en terme de stockage:
  3. Nombre approximatif d'utilisateurs (ou besoins spécifiques en terme de réseaux, genre accès ssh):
  4. Besoins en terme de calcul:

Se connecter au cluster TAL

Pour se connecter au cluster TAL, vous devez accéder à la ligne de commande de votre terminal et écrire la commande suivante (où mon_user_lipn correspond à votre nom d'utilisateur sur le réseau du LIPN):

$ ssh -p 60022 mon_user_lipn@tal.lipn.univ-paris13.fr

Vous verrez l'écran suivante:

###################################################################
# Bienvenue sur le cluster TAL                                    #
#                                                                 #
# Cette machine vous propose plusieurs services dédiés au calcul. #
# Tal est un ensemble de machines stand-alone destinées à du      #
# développement ou à des tâches légères.                          #
# La liste des noeuds utilisables est visible ci-dessous.         #
#                                                                 #
# Pour toute remarque, ecrivez a support@lipn.univ-paris13.fr     #
#                                                                 #
###################################################################   
1) Wiki             6) Unoporuno      11) Kilroy         16) Citeseer 
2) Redmine          7) Sdmc           12) Bni            17) Quitter TAL
3) GPU              8) Fred           13) Cartographies
4) Neoveille        9) Eswc           14) Sablier
5) Hybride         10) Semeval        15) Atala
Votre choix :


Machines virtuelles

  1. Wiki
  2. Redmine
  3. Grille de calcul
  4. Neoveille
  5. Hybride
  6. Unoporuno
  7. SDMC
  8. FRED

Données

Applications

Pour toutes les machines virtuelles, les applications doivent être installées sur /opt/application. Ce n'est pas la peine de rien d'installer dans son propre home (/user/mon_nom_d'utilisateur) parce que ce répertoire est commun à toutes les machines virtuelles. C'est possible d'avoir le sudo pour une machine virtuelle, il faut juste écrire un mél à l'administrateur.

Copier des données vers/à partir du cluster TAL

Pour recopier des données vers le serveur TAL:

$ scp -P 60022 mon_fichier mon_user_lipn@tal.lipn.univ-paris13.fr:~/data
$ scp -P 60022 -r mon_dossier_local mon_user_lipn@tal.lipn.univ-paris13.fr:~/data

La première commande va rapatrier 'mon_fichier' vers le répertoire /usersCette commande va rapatrier le dossier mon_dossier_local vers le répertoire /users/mon_user_lipn/data. La deuxième rapatriera le dossier mon_dossier_local avec tout son contenu vers le dossier /users/mon_user_lipn/data du cluster TAL. Pour télécharger des données, par exemple, à partir de la machine virtuelle tal-unoporuno, on devra se logger vers cette machine et recopier les données à télécharger vers un répertoire dans notre home.

mon_user@tal-unoporuno:~$ cp mon_fichier /users/mon_user_lipn/data/
mon_user@tal-unoporuno:~$ exit
machine_locale:~$ scp  $ scp -P 60022 mon_user_lipn@tal.lipn.univ-paris13.fr:~/data/mon_fichier .

Accès web

Pour configurer l'accès web d'une certaine machine virtuelle, il faut juste suivre le mode d'emploi

Grille de calcul

Le cluster TAL a une carte graphique NVIDIA GRID K2 avec 3072 cœurs qui peut être utilisée comme grille de calcul pour l'apprentissage automatique. Pour avoir accès à la grille de calcul, il faut nous écrire un courriel et votre utilisateur réseau sera habilité.

Connexion

  1. À partir de la ligne de commande de votre terminal, vous devez taper la commande suivante (où mon_utilisateur correspond à votre nom d'utilisateur sur le réseau du LIPN):
$ ssh -p 60022 mon_utilisateur@tal.lipn.univ-paris13.fr
  1. Vous verrez l'écran suivante:
###################################################################
# Bienvenue sur le cluster TAL                                    #
#                                                                 #
# Cette machine vous propose plusieurs services dédiés au calcul. #
# Gaia est un ensemble de machines stand-alone destinées à du     #
# développement ou à des tâches légères.                          #
# La liste des noeuds utilisables est visible ci-dessous.         #
#                                                                 #
# Pour toute remarque, ecrivez a support@lipn.univ-paris13.fr     #
#                                                                 #
###################################################################
1) Wiki
2) GPU
3) Quitter TAL
Votre choix :

Pour la grille de calcul, vous devez choisir l'option 2.

Si vous voulez des infos sur la carte GPU, vous pouvez taper la commande

$ nvidia-smi

Documentation

Toute manipulation sur le serveur TAL doit être documenté de façon redondante, et dans ce wiki et avec multidoc le serveur svn de documentation informatique du Lipn (en Latex).

Voici les commandes multidoc pour générer la doc à partir d'un fichier .tex

# make Tal

Pour générer un PDF avec toute la doc.

# make Tal-wiki

Pour générer un PDF d'un chapitre particulier.

Voici un exemple de documentation redondante, et sur le wiki et sur le svn multidoc.