| Les deux révisions précédentes
Révision précédente
Prochaine révision
|
Révision précédente
|
equipes:rcln:cluster_tal:accueil [2020/11/23 18:26]
garciaflores ↷ Liens modifiés en raison d'un déplacement. |
equipes:rcln:cluster_tal:accueil [2021/11/25 16:39] (Version actuelle)
garciaflores [Copier des données vers/à partir du serveur TAL] |
| ====== Cluster TAL ====== | ====== Serveur TAL ====== |
| |
| |
| Serveur d'applications, démos et hébergement de ressources communs pour le Traitement Automatique des Langues. | Serveur d'applications, démos et hébergement de ressources communs pour le Traitement Automatique des Langues. |
| ===== Principes ===== | ===== Principes ===== |
| - Le cluster TAL est un serveur dédié au développement d'applications de traitement automatiques de langues par l'équipe RCLN et à la mise en ligne des démos où des services web de ces applications. | - Le serveur TAL est un serveur dédié au développement d'applications de traitement automatiques de langues par l'équipe RCLN et à la mise en ligne des démos où des services web de ces applications. |
| - Tous les membres de l'équipe RCLN peuvent avoir accès au cluster, ainsi que les collaborateurs extérieur au labo associés à un membre de l'équipe RCLN. | - Tous les membres de l'équipe RCLN peuvent avoir accès au serveur, ainsi que les collaborateurs extérieurs au labo associés à un membre de l'équipe RCLN. |
| - Types de machines virtuelles qu'on peut créer à la demande sur le serveur: | - Types de machines virtuelles qu'on peut créer à la demande sur le serveur : |
| * Production: machine dédiée aux démos des applications en ligne, publiquement accessibles via une interface web où un web service. | * Production : machine dédiée aux démos des applications en ligne, publiquement accessibles via une interface web où un web service. |
| * Développement: machine //cassable// pour le développement des applications expérimentales. | * Développement : machine //cassable// pour le développement des applications expérimentales. |
| * Projet: machine dédiée à un projet de recherche avec la participation des membres extérieurs au labo. Sur cette machine il peut y avoir autant le site web du projet que des outils de développement nécessaires au projet. | * Projet : machine dédiée à un projet de recherche avec la participation des membres extérieurs au labo. Sur cette machine il peut y avoir autant le site web du projet que des outils de développement nécessaires au projet. |
| * Ressources: un corpus, une base de donnés où de ressources linguistique à disposition des autres machines virtuelles. | * Ressources : un corpus, une base de donnés où de ressources linguistiques à disposition des autres machines virtuelles. |
| - Le serveur a aussi une grille de calcul: une machine dédiée aux applications basées sur l'apprentissage profond où l'apprentissage automatique distribué, équipé d'un GPU Nvidia K2 avec 3200 cœurs. | - Le serveur a aussi une grille de calcul : une machine dédiée aux applications basées sur l'apprentissage profond où l'apprentissage automatique distribué, équipé d'un GPU Nvidia K2 avec 3200 cœurs. |
| - Dans les machines dédiées au développement, aux projets où aux ressources, un accès **sudo** est envisageable (ce qui n'est pas le cas pour les machines de production où pour la grille de calcul). | - Dans les machines dédiées au développement, aux projets où aux ressources, un accès **sudo** est envisageable (ce qui n'est pas le cas pour les machines de production où pour la grille de calcul). |
| |
| ===== Besoin d'hébergement ===== | ===== Besoin d'hébergement ===== |
| Pour chaque machine virtuelle à héberger sur le serveur de production, vous pouvez [[jgflores@lipn.fr | nous envoyer un courriel]] avec les données suivants: | Pour chaque machine virtuelle à héberger sur le serveur de production, vous pouvez [[jgflores@lipn.fr | nous envoyer un courriel]] avec les données suivantes : |
| -Nom et description de l'application: | -Nom et description de l'application : |
| -Besoins en terme de stockage: | -Besoins en termes de stockage : |
| -Nombre approximatif d'utilisateurs (ou besoins spécifiques en terme de réseaux, genre accès ssh): | -Nombre approximatif d'utilisateurs (ou besoins spécifiques en termes de réseaux, genre accès ssh): |
| -Besoins en terme de calcul: | -Besoins en termes de calcul : |
| |
| ===== Se connecter au cluster TAL ===== | ===== Se connecter au serveur TAL ===== |
| Pour se connecter au cluster TAL, vous devez accéder à la ligne de commande de votre terminal et écrire la commande suivante (où **mon_user_lipn** correspond à votre nom d'utilisateur sur le réseau du LIPN): | ==== Depuis l'extérieur du laboratoire === |
| | Pour se connecter au serveur TAL, vous devez accéder à la ligne de commande de votre terminal et écrire la commande suivante (où **mon_user_lipn** correspond à votre nom d'utilisateur sur le réseau du LIPN): |
| |
| <code>$ ssh -p 60022 mon_user_lipn@tal.lipn.univ-paris13.fr</code> | <code>$ ssh -p 60022 mon_user_lipn@tal.lipn.univ-paris13.fr</code> |
| |
| Vous verrez l'écran suivante: | ==== Depuis l'intérieur du laboratoire (réseau LIPN) ==== |
| | |
| | <code>$ ssh mon_user_lipn@ssh.lipn.univ-paris13.fr</code> |
| | |
| | |
| | Vous verrez l'écran suivant : |
| <code> | <code> |
| ################################################################### | ################################################################### |
| |
| </code> | </code> |
| ===== Machines virtuelles ===== | |
| - Wiki | |
| - [[equipes:rcln:cluster_tal:serveur_redmine| Redmine]] | |
| - [[accueil#Grille de calcul|Grille de calcul]] | |
| - Neoveille | |
| - Hybride | |
| - Unoporuno | |
| - SDMC | |
| - [[equipes:rcln:cluster_tal:fred|]] | |
| |
| ===== Données ===== | ===== Données ===== |
| Pour toutes les machines virtuelles, les applications doivent être installées sur ''/opt/application''. Ce n'est pas la peine de rien d'installer dans son propre home (''/user/mon_nom_d'utilisateur'') parce que ce répertoire est commun à toutes les machines virtuelles. C'est possible d'avoir le sudo pour une machine virtuelle, il faut juste écrire un courriel à l'administrateur. | Pour toutes les machines virtuelles, les applications doivent être installées sur ''/opt/application''. Ce n'est pas la peine de rien d'installer dans son propre home (''/user/mon_nom_d'utilisateur'') parce que ce répertoire est commun à toutes les machines virtuelles. C'est possible d'avoir le sudo pour une machine virtuelle, il faut juste écrire un courriel à l'administrateur. |
| |
| ==== Copier des données vers/à partir du cluster TAL ==== | ==== Copier des données vers/à partir du serveur TAL ==== |
| Pour recopier des données vers le serveur TAL: | Pour recopier des données vers le serveur TAL: |
| <code> | <code> |
| </code> | </code> |
| |
| La première commande va rapatrier 'mon_fichier' vers le répertoire ''/users''. Cette commande va rapatrier le dossier ''mon_dossier_local'' vers le répertoire ''/users/mon_user_lipn/data''. La deuxième rapatriera le dossier ''mon_dossier_local'' avec tout son contenu vers le dossier ''/users/mon_user_lipn/data'' du cluster TAL. Pour télécharger des données, par exemple, à partir de la machine virtuelle **tal-unoporuno**, on devra se logger vers cette machine et recopier les données à télécharger vers un répertoire dans notre ''home''. | La première commande va rapatrier `mon_fichier` vers le répertoire ''/users''. Cette commande va rapatrier le dossier ''mon_dossier_local'' vers le répertoire ''/users/mon_user_lipn/data''. La deuxième rapatriera le dossier ''mon_dossier_local'' avec tout son contenu vers le dossier ''/users/mon_user_lipn/data'' du serveur TAL. Pour télécharger des données, par exemple, à partir de la machine virtuelle **tal-unoporuno**, on devra s'authentifier dans cette machine et recopier les données à télécharger vers un répertoire dans notre ''home''. |
| <code> mon_user@tal-unoporuno:~$ cp mon_fichier /users/mon_user_lipn/data/ | |
| | <code> |
| | mon_user@tal-unoporuno:~$ cp mon_fichier /users/mon_user_lipn/data/ |
| mon_user@tal-unoporuno:~$ exit | mon_user@tal-unoporuno:~$ exit |
| machine_locale:~$ scp $ scp -P 60022 mon_user_lipn@tal.lipn.univ-paris13.fr:~/data/mon_fichier . | machine_locale:~$ scp -P 60022 mon_user_lipn@tal.lipn.univ-paris13.fr:~/data/mon_fichier . |
| </code> | </code> |
| | |
| ===== Accès web ===== | ===== Accès web ===== |
| Pour configurer l'accès web d'une certaine machine virtuelle, il faut juste suivre [[equipes:rcln:ancien_wiki:cluster_tal:acces_web|le mode d'emploi]] | Pour configurer l'accès web d'une certaine machine virtuelle, il faut juste suivre [[equipes:rcln:ancien_wiki:cluster_tal:acces_web|le mode d'emploi]] |
| |
| ===== Grille de calcul ===== | ===== Grille de calcul ===== |
| Le cluster TAL a une carte graphique [[https://www.google.fr/url?sa=t&rct=j&q=&esrc=s&source=web&cd=2&cad=rja&uact=8&ved=0CCkQFjABahUKEwjg3qPZ3ozIAhXKChoKHYQyDng&url=http%3A%2F%2Fimages.nvidia.com%2Fcontent%2Fpdf%2Fgrid%2Fdata-sheet%2F11264-NVIDIA-GRID-DS-Jan15-US-FNL-LR.pdf&usg=AFQjCNH4VulHnffcAjaGzT5iauEygTo6LA&sig2=eBMUxd_zAf7YNIrrpTjW8g | NVIDIA GRID K2]] avec 3072 cœurs qui peut être utilisée comme grille de calcul pour l'apprentissage automatique. Pour avoir accès à la grille de calcul, il faut [[jgflores@lipn.fr | nous écrire un courriel]] et votre utilisateur réseau sera habilité. | //À venir// |
| ====Connexion==== | |
| - À partir de la ligne de commande de votre terminal, vous devez taper la commande suivante (où **mon_utilisateur** correspond à votre nom d'utilisateur sur le réseau du LIPN): | |
| <code>$ ssh -p 60022 mon_utilisateur@tal.lipn.univ-paris13.fr'''</code> | |
| - Vous verrez l'écran suivante: | |
| <code> | |
| ################################################################### | |
| # Bienvenue sur le cluster TAL # | |
| # # | |
| # Cette machine vous propose plusieurs services dédiés au calcul. # | |
| # Gaia est un ensemble de machines stand-alone destinées à du # | |
| # développement ou à des tâches légères. # | |
| # La liste des noeuds utilisables est visible ci-dessous. # | |
| # # | |
| # Pour toute remarque, ecrivez a support@lipn.univ-paris13.fr # | |
| # # | |
| ################################################################### | |
| 1) Wiki | |
| 2) GPU | |
| 3) Quitter TAL | |
| Votre choix : | |
| </code> | |
| | |
| Pour la grille de calcul, vous devez choisir l'option 2. | |
| | |
| Si vous voulez des infos sur la carte GPU, vous pouvez taper la commande | |
| <code>$ nvidia-smi</code> | |
| | |
| ===== Documentation ===== | |
| Toute manipulation sur le serveur TAL doit être documenté de façon redondante, et dans ce wiki et avec **multidoc** [[https://www-lipn.univ-paris13.fr/svn/fortier/Documentations/Tal/ | le serveur svn]] de documentation informatique du Lipn (en Latex). | |
| | |
| Voici les commandes **multidoc** pour générer la doc à partir d'un fichier .tex | |
| <code> # make Tal </code> | |
| Pour générer un PDF avec toute la doc. | |
| <code> # make Tal-wiki </code> | |
| Pour générer un PDF d'un chapitre particulier. | |
| | |
| Voici un exemple de documentation redondante, et [[equipes:rcln:cluster_tal:serveur_redmine]] et sur le [[https://www-lipn.univ-paris13.fr/svn/fortier/Documentations/Tal/Tal-redmine/ | svn multidoc]]. | |