equipes:rcln:cluster_tal:accueil

Différences

Ci-dessous, les différences entre deux révisions de la page.

Lien vers cette vue comparative

Les deux révisions précédentes Révision précédente
Prochaine révision
Révision précédente
equipes:rcln:cluster_tal:accueil [2020/11/23 18:48]
garciaflores
equipes:rcln:cluster_tal:accueil [2021/11/25 16:39] (Version actuelle)
garciaflores [Copier des données vers/à partir du serveur TAL]
Ligne 1: Ligne 1:
-====== Cluster TAL ======+====== Serveur TAL ======
  
  
 Serveur d'applications, démos et hébergement de ressources communs pour le Traitement Automatique des Langues.  Serveur d'applications, démos et hébergement de ressources communs pour le Traitement Automatique des Langues. 
 ===== Principes ===== ===== Principes =====
-   - Le cluster TAL est un serveur dédié au développement d'applications de traitement automatiques de langues par l'équipe RCLN et à la mise en ligne des démos où des services web de ces applications. +   - Le serveur TAL est un serveur dédié au développement d'applications de traitement automatiques de langues par l'équipe RCLN et à la mise en ligne des démos où des services web de ces applications. 
-   - Tous les membres de l'équipe RCLN peuvent avoir accès au cluster, ainsi que les collaborateurs extérieur au labo associés à un membre de l'équipe RCLN.  +   - Tous les membres de l'équipe RCLN peuvent avoir accès au serveur, ainsi que les collaborateurs extérieurs au labo associés à un membre de l'équipe RCLN.  
-   - Types de machines virtuelles qu'on peut créer à la demande sur le serveur:  +   - Types de machines virtuelles qu'on peut créer à la demande sur le serveur :  
-      * Production: machine dédiée aux démos des applications en ligne, publiquement accessibles via une interface web où un web service.  +      * Production : machine dédiée aux démos des applications en ligne, publiquement accessibles via une interface web où un web service.  
-      * Développement: machine //cassable// pour le développement des applications expérimentales.  +      * Développement : machine //cassable// pour le développement des applications expérimentales.  
-      * Projet: machine dédiée à un projet de recherche avec la participation des membres extérieurs au labo. Sur cette machine il peut y avoir autant le site web du projet que des outils de développement nécessaires au projet.  +      * Projet : machine dédiée à un projet de recherche avec la participation des membres extérieurs au labo. Sur cette machine il peut y avoir autant le site web du projet que des outils de développement nécessaires au projet.  
-      * Ressources: un corpus, une base de donnés où de ressources linguistique à disposition des autres machines virtuelles.  +      * Ressources : un corpus, une base de donnés où de ressources linguistiques à disposition des autres machines virtuelles.  
-   - Le serveur a aussi une grille de calcul: une machine dédiée aux applications basées sur l'apprentissage profond où l'apprentissage automatique distribué, équipé d'un GPU Nvidia K2 avec 3200 cœurs.+   - Le serveur a aussi une grille de calcul : une machine dédiée aux applications basées sur l'apprentissage profond où l'apprentissage automatique distribué, équipé d'un GPU Nvidia K2 avec 3200 cœurs.
    - Dans les machines dédiées au développement, aux projets où aux ressources, un accès **sudo** est envisageable (ce qui n'est pas le cas pour les machines de production où pour la grille de calcul).    - Dans les machines dédiées au développement, aux projets où aux ressources, un accès **sudo** est envisageable (ce qui n'est pas le cas pour les machines de production où pour la grille de calcul).
  
 ===== Besoin d'hébergement ===== ===== Besoin d'hébergement =====
-Pour chaque machine virtuelle à héberger sur le serveur de production, vous pouvez [[jgflores@lipn.fr | nous envoyer un courriel]] avec les données suivants:  +Pour chaque machine virtuelle à héberger sur le serveur de production, vous pouvez [[jgflores@lipn.fr | nous envoyer un courriel]] avec les données suivantes :  
-   -Nom et description de l'application+   -Nom et description de l'application 
-   -Besoins en terme de stockage+   -Besoins en termes de stockage 
-   -Nombre approximatif d'utilisateurs (ou besoins spécifiques en terme de réseaux, genre accès ssh): +   -Nombre approximatif d'utilisateurs (ou besoins spécifiques en termes de réseaux, genre accès ssh): 
-   -Besoins en terme de calcul:+   -Besoins en termes de calcul :
  
-===== Se connecter au cluster TAL ===== +===== Se connecter au serveur TAL ===== 
-Pour se connecter au cluster TAL, vous devez accéder à la ligne de commande de votre terminal et écrire la commande suivante (où **mon_user_lipn** correspond à votre nom d'utilisateur sur le réseau du LIPN):+==== Depuis l'extérieur du laboratoire === 
 +Pour se connecter au serveur TAL, vous devez accéder à la ligne de commande de votre terminal et écrire la commande suivante (où **mon_user_lipn** correspond à votre nom d'utilisateur sur le réseau du LIPN):
  
 <code>$ ssh -p 60022 mon_user_lipn@tal.lipn.univ-paris13.fr</code> <code>$ ssh -p 60022 mon_user_lipn@tal.lipn.univ-paris13.fr</code>
  
-Vous verrez l'écran suivante+==== Depuis l'intérieur du laboratoire  (réseau LIPN) ==== 
 + 
 +<code>$ ssh mon_user_lipn@ssh.lipn.univ-paris13.fr</code> 
 + 
 + 
 +Vous verrez l'écran suivant 
 <code> <code>
  ###################################################################  ###################################################################
Ligne 52: Ligne 58:
 Pour toutes les machines virtuelles, les applications doivent être installées sur ''/opt/application''. Ce n'est pas la peine de rien d'installer dans son propre home (''/user/mon_nom_d'utilisateur'') parce que ce répertoire est commun à toutes les machines virtuelles. C'est possible d'avoir le sudo pour une machine virtuelle, il faut juste écrire un courriel à l'administrateur. Pour toutes les machines virtuelles, les applications doivent être installées sur ''/opt/application''. Ce n'est pas la peine de rien d'installer dans son propre home (''/user/mon_nom_d'utilisateur'') parce que ce répertoire est commun à toutes les machines virtuelles. C'est possible d'avoir le sudo pour une machine virtuelle, il faut juste écrire un courriel à l'administrateur.
  
-==== Copier des données vers/à partir du cluster TAL ====+==== Copier des données vers/à partir du serveur TAL ====
 Pour recopier des données vers le serveur TAL: Pour recopier des données vers le serveur TAL:
 <code> <code>
Ligne 59: Ligne 65:
 </code> </code>
  
-La première commande va rapatrier 'mon_fichiervers le répertoire ''/users''. Cette commande va rapatrier le dossier ''mon_dossier_local''  vers le répertoire ''/users/mon_user_lipn/data''. La deuxième rapatriera le dossier ''mon_dossier_local'' avec tout son contenu vers le dossier ''/users/mon_user_lipn/data'' du cluster TAL. Pour télécharger des données, par exemple, à partir de la machine virtuelle **tal-unoporuno**, on devra se logger vers cette machine et recopier les données à télécharger vers un répertoire dans notre ''home''.  +La première commande va rapatrier `mon_fichiervers le répertoire ''/users''. Cette commande va rapatrier le dossier ''mon_dossier_local''  vers le répertoire ''/users/mon_user_lipn/data''. La deuxième rapatriera le dossier ''mon_dossier_local'' avec tout son contenu vers le dossier ''/users/mon_user_lipn/data'' du serveur TAL. Pour télécharger des données, par exemple, à partir de la machine virtuelle **tal-unoporuno**, on devra s'authentifier dans cette machine et recopier les données à télécharger vers un répertoire dans notre ''home'' 
-<code> mon_user@tal-unoporuno:~$ cp mon_fichier /users/mon_user_lipn/data/+ 
 +<code> 
 + mon_user@tal-unoporuno:~$ cp mon_fichier /users/mon_user_lipn/data/
  mon_user@tal-unoporuno:~$ exit  mon_user@tal-unoporuno:~$ exit
- machine_locale:~$ scp  $ scp -P 60022 mon_user_lipn@tal.lipn.univ-paris13.fr:~/data/mon_fichier .+ machine_locale:~$ scp -P 60022 mon_user_lipn@tal.lipn.univ-paris13.fr:~/data/mon_fichier .
 </code> </code>
 +
 ===== Accès web ===== ===== Accès web =====
 Pour configurer l'accès web d'une certaine machine virtuelle, il faut juste suivre [[equipes:rcln:ancien_wiki:cluster_tal:acces_web|le mode d'emploi]] Pour configurer l'accès web d'une certaine machine virtuelle, il faut juste suivre [[equipes:rcln:ancien_wiki:cluster_tal:acces_web|le mode d'emploi]]
  
 ===== Grille de calcul ===== ===== Grille de calcul =====
 +//À venir//
  • Dernière modification: il y a 3 ans