Serveur d'applications, démos et hébergement de ressources communs pour le Traitement Automatique des Langues.
Serveur d'applications, démos et hébergement de ressources communs pour le Traitement Automatique des Langues.
===== Principes =====
===== Principes =====
-
- Le cluster TAL est un serveur dédié au développement d'applications de traitement automatiques de langues par l'équipe RCLN et à la mise en ligne des démos où des services web de ces applications.
+
- Le serveur TAL est un serveur dédié au développement d'applications de traitement automatiques de langues par l'équipe RCLN et à la mise en ligne des démos où des services web de ces applications.
-
- Tous les membres de l'équipe RCLN peuvent avoir accès au cluster, ainsi que les collaborateurs extérieur au labo associés à un membre de l'équipe RCLN.
+
- Tous les membres de l'équipe RCLN peuvent avoir accès au serveur, ainsi que les collaborateurs extérieurs au labo associés à un membre de l'équipe RCLN.
-
- Types de machines virtuelles qu'on peut créer à la demande sur le serveur:
+
- Types de machines virtuelles qu'on peut créer à la demande sur le serveur :
-
* Production: machine dédiée aux démos des applications en ligne, publiquement accessibles via une interface web où un web service.
+
* Production : machine dédiée aux démos des applications en ligne, publiquement accessibles via une interface web où un web service.
-
* Développement: machine //cassable// pour le développement des applications expérimentales.
+
* Développement : machine //cassable// pour le développement des applications expérimentales.
-
* Projet: machine dédiée à un projet de recherche avec la participation des membres extérieurs au labo. Sur cette machine il peut y avoir autant le site web du projet que des outils de développement nécessaires au projet.
+
* Projet : machine dédiée à un projet de recherche avec la participation des membres extérieurs au labo. Sur cette machine il peut y avoir autant le site web du projet que des outils de développement nécessaires au projet.
-
* Ressources: un corpus, une base de donnés où de ressources linguistique à disposition des autres machines virtuelles.
+
* Ressources : un corpus, une base de donnés où de ressources linguistiques à disposition des autres machines virtuelles.
-
- Le serveur a aussi une grille de calcul: une machine dédiée aux applications basées sur l'apprentissage profond où l'apprentissage automatique distribué, équipé d'un GPU Nvidia K2 avec 3200 cœurs.
+
- Le serveur a aussi une grille de calcul : une machine dédiée aux applications basées sur l'apprentissage profond où l'apprentissage automatique distribué, équipé d'un GPU Nvidia K2 avec 3200 cœurs.
- Dans les machines dédiées au développement, aux projets où aux ressources, un accès **sudo** est envisageable (ce qui n'est pas le cas pour les machines de production où pour la grille de calcul).
- Dans les machines dédiées au développement, aux projets où aux ressources, un accès **sudo** est envisageable (ce qui n'est pas le cas pour les machines de production où pour la grille de calcul).
===== Besoin d'hébergement =====
===== Besoin d'hébergement =====
-
Pour chaque machine virtuelle à héberger sur le serveur de production, vous pouvez [[mailto:jgflores@lipn.fr | nous envoyer un courriel]] avec les données suivants:
+
Pour chaque machine virtuelle à héberger sur le serveur de production, vous pouvez [[jgflores@lipn.fr | nous envoyer un courriel]] avec les données suivantes :
-
-Nom et description de l'application:
+
-Nom et description de l'application :
-
-Besoins en terme de stockage:
+
-Besoins en termes de stockage :
-
-Nombre approximatif d'utilisateurs (ou besoins spécifiques en terme de réseaux, genre accès ssh):
+
-Nombre approximatif d'utilisateurs (ou besoins spécifiques en termes de réseaux, genre accès ssh):
-
-Besoins en terme de calcul:
+
-Besoins en termes de calcul :
-
===== Se connecter au cluster TAL =====
+
===== Se connecter au serveur TAL =====
-
Pour se connecter au cluster TAL, vous devez accéder à la ligne de commande de votre terminal et écrire la commande suivante (où **mon_user_lipn** correspond à votre nom d'utilisateur sur le réseau du LIPN):
+
==== Depuis l'extérieur du laboratoire ===
+
Pour se connecter au serveur TAL, vous devez accéder à la ligne de commande de votre terminal et écrire la commande suivante (où **mon_user_lipn** correspond à votre nom d'utilisateur sur le réseau du LIPN):
Pour toutes les machines virtuelles, les applications doivent être installées sur ''/opt/application''. Ce n'est pas la peine de rien d'installer dans son propre home (''/user/mon_nom_d'utilisateur'') parce que ce répertoire est commun à toutes les machines virtuelles. C'est possible d'avoir le sudo pour une machine virtuelle, il faut juste écrire un courriel à l'administrateur.
Pour toutes les machines virtuelles, les applications doivent être installées sur ''/opt/application''. Ce n'est pas la peine de rien d'installer dans son propre home (''/user/mon_nom_d'utilisateur'') parce que ce répertoire est commun à toutes les machines virtuelles. C'est possible d'avoir le sudo pour une machine virtuelle, il faut juste écrire un courriel à l'administrateur.
-
==== Copier des données vers/à partir du cluster TAL ====
+
==== Copier des données vers/à partir du serveur TAL ====
Pour recopier des données vers le serveur TAL:
Pour recopier des données vers le serveur TAL:
<code>
<code>
Ligne 68:
Ligne 65:
</code>
</code>
-
La première commande va rapatrier 'mon_fichier' vers le répertoire ''/users''. Cette commande va rapatrier le dossier ''mon_dossier_local'' vers le répertoire ''/users/mon_user_lipn/data''. La deuxième rapatriera le dossier ''mon_dossier_local'' avec tout son contenu vers le dossier ''/users/mon_user_lipn/data'' du cluster TAL. Pour télécharger des données, par exemple, à partir de la machine virtuelle **tal-unoporuno**, on devra se logger vers cette machine et recopier les données à télécharger vers un répertoire dans notre ''home''.
+
La première commande va rapatrier `mon_fichier` vers le répertoire ''/users''. Cette commande va rapatrier le dossier ''mon_dossier_local'' vers le répertoire ''/users/mon_user_lipn/data''. La deuxième rapatriera le dossier ''mon_dossier_local'' avec tout son contenu vers le dossier ''/users/mon_user_lipn/data'' du serveur TAL. Pour télécharger des données, par exemple, à partir de la machine virtuelle **tal-unoporuno**, on devra s'authentifier dans cette machine et recopier les données à télécharger vers un répertoire dans notre ''home''.
Pour configurer l'accès web d'une certaine machine virtuelle, il faut juste suivre [[Cluster TAL::Accès web| le mode d'emploi]]
+
Pour configurer l'accès web d'une certaine machine virtuelle, il faut juste suivre [[equipes:rcln:ancien_wiki:cluster_tal:acces_web|le mode d'emploi]]
===== Grille de calcul =====
===== Grille de calcul =====
-
Le cluster TAL a une carte graphique [[https://www.google.fr/url?sa=t&rct=j&q=&esrc=s&source=web&cd=2&cad=rja&uact=8&ved=0CCkQFjABahUKEwjg3qPZ3ozIAhXKChoKHYQyDng&url=http%3A%2F%2Fimages.nvidia.com%2Fcontent%2Fpdf%2Fgrid%2Fdata-sheet%2F11264-NVIDIA-GRID-DS-Jan15-US-FNL-LR.pdf&usg=AFQjCNH4VulHnffcAjaGzT5iauEygTo6LA&sig2=eBMUxd_zAf7YNIrrpTjW8g | NVIDIA GRID K2]] avec 3072 cœurs qui peut être utilisée comme grille de calcul pour l'apprentissage automatique. Pour avoir accès à la grille de calcul, il faut [[mailto:jgflores@lipn.fr | nous écrire un courriel]] et votre utilisateur réseau sera habilité.
+
//À venir//
-
====Connexion====
+
-
- À partir de la ligne de commande de votre terminal, vous devez taper la commande suivante (où **mon_utilisateur** correspond à votre nom d'utilisateur sur le réseau du LIPN):
Pour la grille de calcul, vous devez choisir l'option 2.
+
-
+
-
Si vous voulez des infos sur la carte GPU, vous pouvez taper la commande
+
-
<code>$ nvidia-smi</code>
+
-
+
-
===== Documentation =====
+
-
Toute manipulation sur le serveur TAL doit être documenté de façon redondante, et dans ce wiki et avec **multidoc** [[https://www-lipn.univ-paris13.fr/svn/fortier/Documentations/Tal/ | le serveur svn]] de documentation informatique du Lipn (en Latex).
+
-
+
-
Voici les commandes **multidoc** pour générer la doc à partir d'un fichier .tex
+
-
<code> # make Tal </code>
+
-
Pour générer un PDF avec toute la doc.
+
-
<code> # make Tal-wiki </code>
+
-
Pour générer un PDF d'un chapitre particulier.
+
-
+
-
Voici un exemple de documentation redondante, et [[equipes:rcln:accueil:cluster_tal:serveur_redmine|]] et sur le [[https://www-lipn.univ-paris13.fr/svn/fortier/Documentations/Tal/Tal-redmine/ | svn multidoc]].