Serveur TAL
Serveur d'applications, démos et hébergement de ressources communs pour le Traitement Automatique des Langues.
Principes
- Le serveur TAL est un serveur dédié au développement d'applications de traitement automatiques de langues par l'équipe RCLN et à la mise en ligne des démos où des services web de ces applications.
- Tous les membres de l'équipe RCLN peuvent avoir accès au serveur, ainsi que les collaborateurs extérieurs au labo associés à un membre de l'équipe RCLN.
- Types de machines virtuelles qu'on peut créer à la demande sur le serveur :
- Production : machine dédiée aux démos des applications en ligne, publiquement accessibles via une interface web où un web service.
- Développement : machine cassable pour le développement des applications expérimentales.
- Projet : machine dédiée à un projet de recherche avec la participation des membres extérieurs au labo. Sur cette machine il peut y avoir autant le site web du projet que des outils de développement nécessaires au projet.
- Ressources : un corpus, une base de donnés où de ressources linguistiques à disposition des autres machines virtuelles.
- Le serveur a aussi une grille de calcul : une machine dédiée aux applications basées sur l'apprentissage profond où l'apprentissage automatique distribué, équipé d'un GPU Nvidia K2 avec 3200 cœurs.
- Dans les machines dédiées au développement, aux projets où aux ressources, un accès sudo est envisageable (ce qui n'est pas le cas pour les machines de production où pour la grille de calcul).
Besoin d'hébergement
Pour chaque machine virtuelle à héberger sur le serveur de production, vous pouvez nous envoyer un courriel avec les données suivantes :
- Nom et description de l'application :
- Besoins en termes de stockage :
- Nombre approximatif d'utilisateurs (ou besoins spécifiques en termes de réseaux, genre accès ssh):
- Besoins en termes de calcul :
Se connecter au serveur TAL
Depuis l'extérieur du laboratoire
Pour se connecter au serveur TAL, vous devez accéder à la ligne de commande de votre terminal et écrire la commande suivante (où monuserlipn correspond à votre nom d'utilisateur sur le réseau du LIPN):
$ ssh -p 60022 mon_user_lipn@tal.lipn.univ-paris13.fr
Depuis l'intérieur du laboratoire (réseau LIPN)
$ ssh mon_user_lipn@ssh.lipn.univ-paris13.fr
Vous verrez l'écran suivant :
################################################################### # Bienvenue sur le cluster TAL # # # # Cette machine vous propose plusieurs services dédiés au calcul. # # Tal est un ensemble de machines stand-alone destinées à du # # développement ou à des tâches légères. # # La liste des noeuds utilisables est visible ci-dessous. # # # # Pour toute remarque, ecrivez a support@lipn.univ-paris13.fr # # # ################################################################### 1) Wiki 6) Unoporuno 11) Kilroy 16) Citeseer 2) Redmine 7) Sdmc 12) Bni 17) Quitter TAL 3) GPU 8) Fred 13) Cartographies 4) Neoveille 9) Eswc 14) Sablier 5) Hybride 10) Semeval 15) Atala Votre choix :
Données
Applications
Pour toutes les machines virtuelles, les applications doivent être installées sur /opt/application
. Ce n'est pas la peine de rien d'installer dans son propre home (/user/monnomd'utilisateur
) parce que ce répertoire est commun à toutes les machines virtuelles. C'est possible d'avoir le sudo pour une machine virtuelle, il faut juste écrire un courriel à l'administrateur.
Copier des données vers/à partir du serveur TAL
Pour recopier des données vers le serveur TAL:
$ scp -P 60022 mon_fichier mon_user_lipn@tal.lipn.univ-paris13.fr:~/data $ scp -P 60022 -r mon_dossier_local mon_user_lipn@tal.lipn.univ-paris13.fr:~/data
La première commande va rapatrier mon_fichier
vers le répertoire /users
. Cette commande va rapatrier le dossier mondossierlocal
vers le répertoire /users/monuserlipn/data
. La deuxième rapatriera le dossier mondossierlocal
avec tout son contenu vers le dossier /users/monuserlipn/data
du serveur TAL. Pour télécharger des données, par exemple, à partir de la machine virtuelle tal-unoporuno, on devra s'authentifier dans cette machine et recopier les données à télécharger vers un répertoire dans notre home
.
mon_user@tal-unoporuno:~$ cp mon_fichier /users/mon_user_lipn/data/ mon_user@tal-unoporuno:~$ exit machine_locale:~$ scp -P 60022 mon_user_lipn@tal.lipn.univ-paris13.fr:~/data/mon_fichier .
Accès web
Pour configurer l'accès web d'une certaine machine virtuelle, il faut juste suivre le mode d'emploi
Grille de calcul
À venir