Cluster TAL

Serveur d'applications, démos et hébergement de ressources communs pour le Traitement Automatique des Langues.

1. Le cluster TAL est un serveur dédié au développement d'applications de traitement automatiques de langues par l'équipe RCLN et à la mise en ligne des démos où des services web de ces applications.
2. Tous les membres de l'équipe RCLN peuvent avoir accès au cluster, ainsi que les collaborateurs extérieur au labo associés à un membre de l'équipe RCLN.
3. Types de machines virtuelles qu'on peut créer à la demande sur le serveur:
   • Production: machine dédiée aux démos des applications en ligne, publiquement accessibles via une interface web où un web service.
   • Développement: machine cassable pour le développement des applications expérimentales.
   • Projet: machine dédiée à un projet de recherche avec la participation des membres extérieurs au labo. Sur cette machine il peut y avoir autant le site web du projet que des outils de développement nécessaires au projet.
   • Ressources: un corpus, une base de donnés où de ressources linguistique à disposition des autres machines virtuelles.
4. Le serveur a aussi une grille de calcul: une machine dédiée aux applications basées sur l'apprentissage profond où l'apprentissage automatique distribué, équipé d'un GPU Nvidia K2 avec 3200 cœurs.
5. Dans les machines dédiées au développement, aux projets où aux ressources, un accès sudo est envisageable (ce qui n'est pas le cas pour les machines de production où pour la grille de calcul).

Pour chaque machine virtuelle à héberger sur le serveur de production, vous pouvez nous envoyer un courriel avec les données suivants:

1. Nom et description de l'application:
2. Besoins en terme de stockage:
3. Nombre approximatif d'utilisateurs (ou besoins spécifiques en terme de réseaux, genre accès ssh):
4. Besoins en terme de calcul:

Pour se connecter au cluster TAL, vous devez accéder à la ligne de commande de votre terminal et écrire la commande suivante (où monuserlipn correspond à votre nom d'utilisateur sur le réseau du LIPN):

$ ssh -p 60022 mon_user_lipn@tal.lipn.univ-paris13.fr

Vous verrez l'écran suivante:

 ###################################################################
 # Bienvenue sur le cluster TAL                                    #
 #                                                                 #
 # Cette machine vous propose plusieurs services dédiés au calcul. #
 # Tal est un ensemble de machines stand-alone destinées à du      #
 # développement ou à des tâches légères.                          #
 # La liste des noeuds utilisables est visible ci-dessous.         #
 #                                                                 #
 # Pour toute remarque, ecrivez a support@lipn.univ-paris13.fr     #
 #                                                                 #
 ###################################################################   
 1) Wiki             6) Unoporuno      11) Kilroy         16) Citeseer 
 2) Redmine          7) Sdmc           12) Bni            17) Quitter TAL
 3) GPU              8) Fred           13) Cartographies
 4) Neoveille        9) Eswc           14) Sablier
 5) Hybride         10) Semeval        15) Atala
 Votre choix :

1. Wiki
2. Redmine
3. Grille de calcul
4. Neoveille
5. Hybride
6. Unoporuno
7. SDMC
8. FRED

Pour toutes les machines virtuelles, les applications doivent être installées sur /opt/application. Ce n'est pas la peine de rien d'installer dans son propre home (/user/monnomd'utilisateur) parce que ce répertoire est commun à toutes les machines virtuelles. C'est possible d'avoir le sudo pour une machine virtuelle, il faut juste écrire un courriel à l'administrateur.

Pour recopier des données vers le serveur TAL:

 $ scp -P 60022 mon_fichier mon_user_lipn@tal.lipn.univ-paris13.fr:~/data
 $ scp -P 60022 -r mon_dossier_local mon_user_lipn@tal.lipn.univ-paris13.fr:~/data

La première commande va rapatrier 'monfichier' vers le répertoire /users. Cette commande va rapatrier le dossier mondossierlocal vers le répertoire /users/monuserlipn/data. La deuxième rapatriera le dossier mondossierlocal avec tout son contenu vers le dossier /users/monuserlipn/data du cluster TAL. Pour télécharger des données, par exemple, à partir de la machine virtuelle tal-unoporuno, on devra se logger vers cette machine et recopier les données à télécharger vers un répertoire dans notre home. <code> monuser@tal-unoporuno:~$ cp monfichier /users/monuserlipn/data/ monuser@tal-unoporuno:~$ exit machinelocale:~$scp$ scp -P 60022 monuserlipn@tal.lipn.univ-paris13.fr:~/data/monfichier . </code>

Pour configurer l'accès web d'une certaine machine virtuelle, il faut juste suivre le mode d'emploi

Le cluster TAL a une carte graphique NVIDIA GRID K2 avec 3072 cœurs qui peut être utilisée comme grille de calcul pour l'apprentissage automatique. Pour avoir accès à la grille de calcul, il faut nous écrire un courriel et votre utilisateur réseau sera habilité.

1. À partir de la ligne de commande de votre terminal, vous devez taper la commande suivante (où monutilisateur correspond à votre nom d'utilisateur sur le réseau du LIPN): <code>$ssh -p 60022 mon_utilisateur@tal.lipn.univ-paris13.fr'''</code> - Vous verrez l'écran suivante: <code> ################################################################### # Bienvenue sur le cluster TAL # # # # Cette machine vous propose plusieurs services dédiés au calcul. # # Gaia est un ensemble de machines stand-alone destinées à du # # développement ou à des tâches légères. # # La liste des noeuds utilisables est visible ci-dessous. # # # # Pour toute remarque, ecrivez a support@lipn.univ-paris13.fr # # # ################################################################### 1) Wiki 2) GPU 3) Quitter TAL Votre choix : </code> Pour la grille de calcul, vous devez choisir l'option 2. Si vous voulez des infos sur la carte GPU, vous pouvez taper la commande <code>$ nvidia-smi</code> ===== Documentation ===== Toute manipulation sur le serveur TAL doit être documenté de façon redondante, et dans ce wiki et avec multidoc le serveur svn de documentation informatique du Lipn (en Latex). Voici les commandes multidoc pour générer la doc à partir d'un fichier .tex <code> # make Tal </code> Pour générer un PDF avec toute la doc. <code> # make Tal-wiki </code> Pour générer un PDF d'un chapitre particulier. Voici un exemple de documentation redondante, et http://lipn.univ-paris13.fr/rcln/wiki/index.php/Cluster_TAL_::_Serveur_Redmine sur le wiki et sur le svn multidoc.