July 2021 - GPU - Listes du LIPN

Fwd: Fwd: Cluster GPU du LIPN
by Jorge Garcia Flores 29 Jul '21

29 Jul '21

Bonjour, D'après le message attaché on devrait avoir accès à 11 cartes GPU Quadro RTX 5000 à partir de lipn-gpu... cependant, lorsque je fais la commande *nvidia-smi* je n'ai accès qu'à trois GPUs... Y a-t'il une commande spécifique pour avoir accès aux autres nodes... sont elles disponibles les 9 autres cartes? Amitiés Jorge -------- Courriel original -------- Objet: Cluster GPU du LIPN Date: 2021-04-28 18:31 De: Marisol Rodriguez Perez <marisol.rodriguez(a)lipn.univ-paris13.fr> À: lipn-tous Bonjour à tous, Les nouvelles machines GPU sont prêtes, pour cette raison l'ancienne machine lipn-rtx1 sera réinstallée et intégrée au cluster. A l'avenir, l'accès au cluster se fera exclusivement par lipn-gpu (192.168.90.120). Je vous demande d'arrêter vos calculs sur la machine lipn-rtx1 et de les déplacer sur la machine lipn-gpu. Il faut noter qu'à partir de maintenant l'exécution des tâches sera gérée par SLURM, vous ne pourrez donc pas exécuter de commandes directement sur les nœuds. Voici un guide de base des commandes SLURM. https://mesocentre.univ-amu.fr/slurm/ Une fois que la machine lipn-rtx1 est intégrée au cluster, ce dernier aura : 3 nœuds 11 cartes Quadro RTX 5000 60 CPUs La machine lipn-rtx1 ne sera plus disponible à partir du midi vendredi 30 avril. Cordialement,

2 2

mise à jour des serveurs gpu
by Frédéric Tournier 27 Jul '21

27 Jul '21

Bonjour, les mises à jour automatiques des serveurs gpu posent problème car elles peuvent engendrer une incompatibilité entre les drivers nvidia et les librairies cuda. Un redémarrage des machines est alors nécessaire. J'ai désactivé ces màj automatiques, mais actuellement nous avons: rtx1: Driver Version: 470.57.02 CUDA Version: 11.4 rtx2: Driver Version: 465.19.01 CUDA Version: 11.3 rtx3: Driver Version: 465.19.01 CUDA Version: 11.3 Deux choses : - pour harmoniser les softs des 3 serveurs, il faudrait planifier l'arrêt des calculs pour quelques minutes - lors des futures màj, faut-il bloquer les màj des drivers+cuda ou l'emploi des toutes dernières versions est-il préférable ? Amicalement, Fred

1 0

problème de GPU
by Zhang Xudong 23 Jul '21

23 Jul '21

Bonjour J'ai rencontré un problème d'utilisation des gpus LIPN. Pour les GPUs de LIPN, il me semble qu'il y a un problème avec le node lipn-rtx1 Si j'utilise srun --nodelist=lipn-rtx1 nvidia-smi, ça me donne: Failed to initialize NVML: Driver/library version mismatch J'ai lancé une exp en lipn-rtx1, ça marche mais il n'y pas d'accélération ou très peu d'accélération (8-9 fois plus lents que l'exp en lipn-rtx2). Et aussi il me semble que maintenant lipn-rtx3 n'est pas bon. J'ai essayé de lancer une exp, mais ça me donne: srun: error: Unable to create step for job 653: Requested node configuration is not available. le fichier de slurm que j'ai utilisé est: #!/bin/bash #SBATCH --job-name=python #SBATCH --gres=gpu:1 #SBATCH --output=./modelLinearCRF1/slurmt.out #SBATCH --error=./modelLinearCRF1/slurmt.err #SBATCH --nodes=1 #SBATCH --ntasks-per-node=1 srun -w lipn-rtx3 python debug_linear.py Cordialement! Xudong Zhang

2 1

GPUs à jour
by Marisol Rodriguez Perez 12 Jul '21

12 Jul '21

Bonjour, L'intervention est fini et les GPU sont opérationnels, pourriez-vous vérifier ? P.S. je ne serais plus disponible à partir de demain, veuillez contacter systeme(a)lipn.univ-paris13.fr Cordialement, -- Marisol Rodriguez Perez -- Administratrice Réseau et Systèmes LIPN - LAGA Bureau A308 Tel : 01 49 40 35 43

1 0

Installation GPUs manquants
by Marisol Rodriguez Perez 12 Jul '21

12 Jul '21

Bonjour à tous, Fred a installé machine lipn-rtx1 et nous avons besoin de redémarrer slurm et faire des mises à jour, pourriez vous nous dire un créneaux sans expériences sur les GPUs ? Nous avons besoin de plus ou moins 20 min. Cordialement, -- Marisol Rodriguez Perez -- Administratrice Réseau et Systèmes LIPN - LAGA Bureau A308 Tel : 01 49 40 35 43

2 3

Re: [Gpu] [Systeme] Problème sur le serveur labex
by Frédéric Tournier 05 Jul '21

05 Jul '21

Je n'y vois pas d'objection mais je ne suis pas seul à décider. Cette commande précise semble tout à fait inoffensive: https://stackoverflow.com/questions/22480627/what-does-the-state-drain-mean Faites un essai. Si vous n'êtes pas connecté en tant que root, tentez la commande précédée de sudo. Le 05/07/2021 à 15:34, Ghazi Felhi a écrit : > Merci beaucoup, ça remarche ! > > Est-ce que je peux faire ça moi-même la prochaine fois que ça arrive > ou est-ce qu'il faut que > ce soit vous ? > > Bonne journée, > Ghazi FELHI. > > Le 2021-07-05 15:05, Frédéric Tournier a écrit : >> # sinfo >> PARTITION AVAIL TIMELIMIT NODES STATE NODELIST >> labex* up infinite 1 drain tal-gpu-labex1 >> >> >> J'ai tapé la commande suivante: >> # scontrol update nodename=tal-gpu-labex1 state=resume >> >> Maintenant la machine indique: >> # sinfo >> PARTITION AVAIL TIMELIMIT NODES STATE NODELIST >> labex* up infinite 1 idle tal-gpu-labex1 >> >> >> >> Le 05/07/2021 à 14:50, Ghazi Felhi a écrit : >>> Bonjour, >>> >>> Désolé je ne connais pas les noms des machines (et je ne les trouve >>> pas dans le fichier /etc/hosts de la passerelle). Celle sur laquelle >>> j'essaie de runner mes jobs a pour IP 192.168.69.77 . >>> >>> Merci de votre aide. >>> >>> Bonne journée, >>> Ghazi. >>> >>> >>> Le 2021-07-05 13:53, Frédéric Tournier a écrit : >>>> Bonjour, >>>> >>>> j'ai testé les machines de ma liste j'ai: >>>> lipn-gpu: idle >>>> lipn-rtx1: ne répond pas >>>> lipn-rtx2: idle >>>> lipn-rtx3: idle >>>> >>>> Laquelle appelez-vous labex svp ? >>>> >>>> Amicalement, >>>> Fred >>>> >>>> Le 05/07/2021 à 13:38, Ghazi Felhi a écrit : >>>>> Bonjour, >>>>> >>>>> Tout allait bien sur le serveur labex il y a environ 1h. Mais là >>>>> je viens d'arrêter mes jobs et de les relancer (sans rien changer >>>>> au script de lancement) et quand je visualise les jobs lancés avec >>>>> squeue, ça me met en colonne "NODELIST (REASON)": >>>>> (Nodes required for job are DOWN, DRAINED or reserved for jobs in >>>>> higher priority partitions) >>>>> >>>>> Savez-vous d'où ça provient, où si tout va bien pour la machine ? >>>>> Même un simple "srun nvidia-smi" retourne la même chose ... >>>>> >>>>> Cordialement, >>>>> Ghazi FELHI. >>>>> _______________________________________________ >>>>> Systeme mailing list >>>>> Systeme(a)lipn.univ-paris13.fr >>>>> https://lipn.univ-paris13.fr/listes-lipn/listinfo/systeme

1 0

Re: [Gpu] [Systeme] Redémarrage des GPU 5000 RTX ?
by Frédéric Tournier 02 Jul '21

02 Jul '21

Chouette :^) Pour info, les actions: Les nodes étaient down, il faut les passer en idle: # sinfo PARTITION AVAIL TIMELIMIT NODES STATE NODELIST lipn* up infinite 2 down lipn-rtx[2-3] # scontrol update nodename=lipn-rtx2 state=idle # scontrol update nodename=lipn-rtx3 state=idle #sinfo PARTITION AVAIL TIMELIMIT NODES STATE NODELIST lipn* up infinite 2 idle lipn-rtx[2-3] J'ai rendu le réglage persistant avec un rc.local, je n'ai pas testé un reboot mais ça devrait être bon. Merci, bon WE à vous, Fred Le 02/07/2021 à 17:38, Joseph Le Roux a écrit : > Merci! > > srun marche bien, je demande aux doctorants de "charger la bête" ! > > Bon weekend, > > Frédéric Tournier <frederic.tournier(a)lipn.univ-paris13.fr> writes: > >> (j'enlève les listes de l'échange mail) >> >> Pouvez-vous tenter à nouveau svp ? >> >> >> Le 02/07/2021 à 16:50, Joseph Le Roux a écrit : >>> On peut se connecter en ssh, mais les noeuds slurm ne sont pas >>> accessibles. >>> Par exemple: >>> >>> >>> $ srun -w nvidia-smi >>> srun: Required node not available (down, drained or reserved) >>> srun: job 403 queued and waiting for resources >>> >>> Joseph >>> >>> >>> Frédéric Tournier <frederic.tournier(a)lipn.univ-paris13.fr> writes: >>> >>>> Bonjour, >>>> >>>> je suis monté allumer les deux machines. >>>> Pouvez-vous tester l'accès, et éventuellement les faire fonctionner à bloc svp ? >>>> >>>> Amicalement, >>>> Fred >>>> >>>> Le 02/07/2021 à 16:08, Joseph Le Roux a écrit : >>>>> Bonjour, >>>>> >>>>> maintenant que les tests sur le serveur labex sont concluants, peut-on >>>>> redémarrer le serveur LIPN équipé des cartes 5000 RTX ? >>>>> >>>>> On en a besoin pour les expériences qui requièrent plus de 12GB de >>>>> mémoire. >>>>> >>>>> Merci d'avance, >>>>> >>>>> >>>>> -- >>>>> Joseph Le Roux >>>>> >>>>> RCLN, LIPN, Université Sorbonne Paris Nord >>>>> Tel: +33 (0) 1 49 40 32 13 >>>>> URL: https://www.lipn.fr/~leroux >>>>> GPG fingerprint: 647E BA11 F377 FA03 2A6A AFB6 6090 6D35 BE65 36C5 >>>>> _______________________________________________ >>>>> Systeme mailing list >>>>> Systeme(a)lipn.univ-paris13.fr >>>>> https://lipn.univ-paris13.fr/listes-lipn/listinfo/systeme >>>> _______________________________________________ >>>> Gpu mailing list >>>> Gpu(a)lipn.univ-paris13.fr >>>> https://lipn.univ-paris13.fr/listes-lipn/listinfo/gpu >>>> >>> <#secure method=pgpmime mode=encrypt> >>> >>> -- >>> Joseph Le Roux >>> >>> RCLN, LIPN, Université Sorbonne Paris Nord >>> Tel: +33 (0) 1 49 40 32 13 >>> URL: https://www.lipn.fr/~leroux >>> GPG fingerprint: 647E BA11 F377 FA03 2A6A AFB6 6090 6D35 BE65 36C5 > > -- > Joseph Le Roux > > RCLN, LIPN, Université Sorbonne Paris Nord > Tel: +33 (0) 1 49 40 32 13 > URL: https://www.lipn.fr/~leroux > GPG fingerprint: 647E BA11 F377 FA03 2A6A AFB6 6090 6D35 BE65 36C5

1 0

Redémarrage des GPU 5000 RTX ?
by Joseph Le Roux 02 Jul '21

02 Jul '21

Bonjour, maintenant que les tests sur le serveur labex sont concluants, peut-on redémarrer le serveur LIPN équipé des cartes 5000 RTX ? On en a besoin pour les expériences qui requièrent plus de 12GB de mémoire. Merci d'avance, -- Joseph Le Roux RCLN, LIPN, Université Sorbonne Paris Nord Tel: +33 (0) 1 49 40 32 13 URL: https://www.lipn.fr/~leroux GPG fingerprint: 647E BA11 F377 FA03 2A6A AFB6 6090 6D35 BE65 36C5

2 2