Bonjour Marisol, il y a pas plusieurs problèmes avec les GPU que je t'ai signalés pour certains il y a presque 15 jours pour d'autres il y a une semaine, penses-tu pouvoir les résoudre bientôt ? Car si on ajoute la mise à jour de lipn-rtx1 qui rend cette machine indisponible, on se retrouve coincés avec très peu de GPU à se partager. - sur labex, on ne peut plus rien lancer: JOBID PARTITION NAME USER ST TIME NODES NODELIST(REASON) 7843 labex Supervis laurene. PD 0:00 1 (Nodes required for job are DOWN, DRAINED or reserved for jobs in higher priority partitions) 7844 labex Supervis laurene. PD 0:00 1 (Nodes required for job are DOWN, DRAINED or reserved for jobs in higher priority partitions) 7845 labex Supervis laurene. PD 0:00 2 (PartitionNodeLimit) - sur lipn-gpu, squeue renvoie JOBID PARTITION NAME USER ST TIME NODES NODELIST(REASON) 34 lipn global leroux CG 12:35 1 lipn-rtx2 35 lipn global leroux CG 9:48 1 lipn-rtx2 depuis 3 semaines: ces deux jobs bloquent lipn-rtx2: impossible de les tuer ou de les annuler. la machine lipn-rtx2 est inutilisable. Peut-être devrait-on mettre en place une mailing-list pour les utilisateurs de GPU ? Parce que les utilisateurs de RCLN viennent vers moi quand il y a des problèmes mais, comme je ne peux rien faire à part leur dire de vous contacter et que c'est sûrement toujours pour les mêmes problèmes, c'est sûrement mieux que tout le monde soit au courant. Cordialement, -- Joseph Le Roux RCLN, LIPN, Université Sorbonne Paris Nord Tel: +33 (0) 1 49 40 32 13 URL: https://www.lipn.fr/~leroux GPG fingerprint: 647E BA11 F377 FA03 2A6A AFB6 6090 6D35 BE65 36C5
Bonjour, Les réponses ci-dessous. Cordialement, --- Marisol Rodriguez Perez -- Administratrice Réseau et Systèmes LIPN - LAGA Bureau A308 Tel : 01 49 40 35 43 Le 2021-05-16 11:17, Joseph Le Roux a écrit :
Bonjour Marisol,
il y a pas plusieurs problèmes avec les GPU que je t'ai signalés pour certains il y a presque 15 jours pour d'autres il y a une semaine, penses-tu pouvoir les résoudre bientôt ? Car si on ajoute la mise à jour de lipn-rtx1 qui rend cette machine indisponible, on se retrouve coincés avec très peu de GPU à se partager.
- sur labex, on ne peut plus rien lancer:
On avait coupé le serveur pour mettre les cartes 2080, cependant ça n'a pas été possible car il manque les câbles pour brancher les cartes. Ils sont été déjà commandés. Après qu'on a remis le serveur apparemment, il y a eu un souci avec le redémarrage des cartes gpu. Maintenant ça l'air bon.
JOBID PARTITION NAME USER ST TIME NODES NODELIST(REASON)
7843 labex Supervis laurene. PD 0:00 1 (Nodes required for job are DOWN, DRAINED or reserved for jobs in higher priority partitions)
7844 labex Supervis laurene. PD 0:00 1 (Nodes required for job are DOWN, DRAINED or reserved for jobs in higher priority partitions)
7845 labex Supervis laurene. PD 0:00 2 (PartitionNodeLimit)
- sur lipn-gpu, squeue renvoie
JOBID PARTITION NAME USER ST TIME NODES NODELIST(REASON) 34 lipn global leroux CG 12:35 1 lipn-rtx2 35 lipn global leroux CG 9:48 1 lipn-rtx2
Depuis le premier mail j'ai essayé de régler le souci, mais effectivement je n'arrive pas non plus a couper ces travaux. Je crois qu'il faudra arrêter slurm, mais j'ai peur de tuer vos processus sur lipn-rtx3. J'ai redémarré la machine lipn-rtx2 plusieurs fois, sans succès. Pour lipn-rtx1 je vais l'installer au début juin. Il y a des choses que nous devons finir avec Xavier et il ne serait plus là.
depuis 3 semaines: ces deux jobs bloquent lipn-rtx2: impossible de les tuer ou de les annuler. la machine lipn-rtx2 est inutilisable.
Peut-être devrait-on mettre en place une mailing-list pour les utilisateurs de GPU ? Parce que les utilisateurs de RCLN viennent vers moi quand il y a des problèmes mais, comme je ne peux rien faire à part leur dire de vous contacter et que c'est sûrement toujours pour les mêmes problèmes, c'est sûrement mieux que tout le monde soit au courant.
Cordialement,
Merci Marisol, tout est clair. Pour lipn-rtx2, je dis à Xudong de repasser sur labex pour ses prochains jobs, et je fais pareil. Comme ça quand tout sera fini sur lipn-rtx3 je te le signale et tu pourras redémarrer slurm. Et pour la mailing-list ? Bien cordialement, Joseph Marisol Rodriguez Perez <marisol.rodriguez@lipn.univ-paris13.fr> writes:
Bonjour,
Les réponses ci-dessous.
Cordialement,
--- Marisol Rodriguez Perez
-- Administratrice Réseau et Systèmes LIPN - LAGA Bureau A308 Tel : 01 49 40 35 43
Le 2021-05-16 11:17, Joseph Le Roux a écrit :
Bonjour Marisol, il y a pas plusieurs problèmes avec les GPU que je t'ai signalés pour certains il y a presque 15 jours pour d'autres il y a une semaine, penses-tu pouvoir les résoudre bientôt ? Car si on ajoute la mise à jour de lipn-rtx1 qui rend cette machine indisponible, on se retrouve coincés avec très peu de GPU à se partager. - sur labex, on ne peut plus rien lancer:
On avait coupé le serveur pour mettre les cartes 2080, cependant ça n'a pas été possible car il manque les câbles pour brancher les cartes. Ils sont été déjà commandés.
Après qu'on a remis le serveur apparemment, il y a eu un souci avec le redémarrage des cartes gpu. Maintenant ça l'air bon.
JOBID PARTITION NAME USER ST TIME NODES NODELIST(REASON) 7843 labex Supervis laurene. PD 0:00 1 (Nodes required for job are DOWN, DRAINED or reserved for jobs in higher priority partitions) 7844 labex Supervis laurene. PD 0:00 1 (Nodes required for job are DOWN, DRAINED or reserved for jobs in higher priority partitions) 7845 labex Supervis laurene. PD 0:00 2 (PartitionNodeLimit) - sur lipn-gpu, squeue renvoie JOBID PARTITION NAME USER ST TIME NODES NODELIST(REASON) 34 lipn global leroux CG 12:35 1 lipn-rtx2 35 lipn global leroux CG 9:48 1 lipn-rtx2
Depuis le premier mail j'ai essayé de régler le souci, mais effectivement je n'arrive pas non plus a couper ces travaux. Je crois qu'il faudra arrêter slurm, mais j'ai peur de tuer vos processus sur lipn-rtx3. J'ai redémarré la machine lipn-rtx2 plusieurs fois, sans succès.
Pour lipn-rtx1 je vais l'installer au début juin. Il y a des choses que nous devons finir avec Xavier et il ne serait plus là.
depuis 3 semaines: ces deux jobs bloquent lipn-rtx2: impossible de les tuer ou de les annuler. la machine lipn-rtx2 est inutilisable. Peut-être devrait-on mettre en place une mailing-list pour les utilisateurs de GPU ? Parce que les utilisateurs de RCLN viennent vers moi quand il y a des problèmes mais, comme je ne peux rien faire à part leur dire de vous contacter et que c'est sûrement toujours pour les mêmes problèmes, c'est sûrement mieux que tout le monde soit au courant. Cordialement,
-- Joseph Le Roux RCLN, LIPN, Université Sorbonne Paris Nord Tel: +33 (0) 1 49 40 32 13 URL: https://www.lipn.fr/~leroux GPG fingerprint: 647E BA11 F377 FA03 2A6A AFB6 6090 6D35 BE65 36C5
Bonjour, Je vous propose 2 choses, on peut faire une liste avec l'option pour s’inscrire, comme ça les personnes concernés peuvent accéder au fur et à mesure dans la liste et sans notre intervention. L'autre chose, on peut faire une salle sur mattermost, nous sommes là tout la journée donc c'est plus facile pour nous de répondre en ligne. Est-ce que ça vous va une liste appelé gpu@lipn.univ-paris13.fr ? Aussi les câbles pour brancher les cartes GPU sur le serveur labex sont arrives, est-ce qu'on peut faire la connexion aujourd'hui par exemple ou vous préférez le faire début juin, une fois rxt1 et rtx2 seront en ligne ? Cordialement, --- Marisol Rodriguez Perez -- Administratrice Réseau et Systèmes LIPN - LAGA Bureau A308 Tel : 01 49 40 35 43 Le 2021-05-17 19:51, Joseph Le Roux a écrit :
Merci Marisol, tout est clair.
Pour lipn-rtx2, je dis à Xudong de repasser sur labex pour ses prochains jobs, et je fais pareil. Comme ça quand tout sera fini sur lipn-rtx3 je te le signale et tu pourras redémarrer slurm.
Et pour la mailing-list ?
Bien cordialement, Joseph
Marisol Rodriguez Perez <marisol.rodriguez@lipn.univ-paris13.fr> writes:
Bonjour,
Les réponses ci-dessous.
Cordialement,
--- Marisol Rodriguez Perez
-- Administratrice Réseau et Systèmes LIPN - LAGA Bureau A308 Tel : 01 49 40 35 43
Le 2021-05-16 11:17, Joseph Le Roux a écrit :
Bonjour Marisol, il y a pas plusieurs problèmes avec les GPU que je t'ai signalés pour certains il y a presque 15 jours pour d'autres il y a une semaine, penses-tu pouvoir les résoudre bientôt ? Car si on ajoute la mise à jour de lipn-rtx1 qui rend cette machine indisponible, on se retrouve coincés avec très peu de GPU à se partager. - sur labex, on ne peut plus rien lancer:
On avait coupé le serveur pour mettre les cartes 2080, cependant ça n'a pas été possible car il manque les câbles pour brancher les cartes. Ils sont été déjà commandés.
Après qu'on a remis le serveur apparemment, il y a eu un souci avec le redémarrage des cartes gpu. Maintenant ça l'air bon.
JOBID PARTITION NAME USER ST TIME NODES NODELIST(REASON) 7843 labex Supervis laurene. PD 0:00 1 (Nodes required for job are DOWN, DRAINED or reserved for jobs in higher priority partitions) 7844 labex Supervis laurene. PD 0:00 1 (Nodes required for job are DOWN, DRAINED or reserved for jobs in higher priority partitions) 7845 labex Supervis laurene. PD 0:00 2 (PartitionNodeLimit) - sur lipn-gpu, squeue renvoie JOBID PARTITION NAME USER ST TIME NODES NODELIST(REASON) 34 lipn global leroux CG 12:35 1 lipn-rtx2 35 lipn global leroux CG 9:48 1 lipn-rtx2
Depuis le premier mail j'ai essayé de régler le souci, mais effectivement je n'arrive pas non plus a couper ces travaux. Je crois qu'il faudra arrêter slurm, mais j'ai peur de tuer vos processus sur lipn-rtx3. J'ai redémarré la machine lipn-rtx2 plusieurs fois, sans succès.
Pour lipn-rtx1 je vais l'installer au début juin. Il y a des choses que nous devons finir avec Xavier et il ne serait plus là.
depuis 3 semaines: ces deux jobs bloquent lipn-rtx2: impossible de les tuer ou de les annuler. la machine lipn-rtx2 est inutilisable. Peut-être devrait-on mettre en place une mailing-list pour les utilisateurs de GPU ? Parce que les utilisateurs de RCLN viennent vers moi quand il y a des problèmes mais, comme je ne peux rien faire à part leur dire de vous contacter et que c'est sûrement toujours pour les mêmes problèmes, c'est sûrement mieux que tout le monde soit au courant. Cordialement,
Marisol Rodriguez Perez <marisol.rodriguez@lipn.univ-paris13.fr> writes:
Bonjour,
Je vous propose 2 choses, on peut faire une liste avec l'option pour s’inscrire, comme ça les personnes concernés peuvent accéder au fur et à mesure dans la liste et sans notre intervention. L'autre chose, on peut faire une salle sur mattermost, nous sommes là tout la journée donc c'est plus facile pour nous de répondre en ligne.
Entièrement d'accord pour avoir les deux. Je pense que c'est mieux d'avoir une liste de mails, mais on peut mettre aussi en place en canal mattermost.
Est-ce que ça vous va une liste appelé gpu@lipn.univ-paris13.fr ?
ok. C'est juste un alias ou une liste (avec inscription/archive) ?
Aussi les câbles pour brancher les cartes GPU sur le serveur labex sont arrives, est-ce qu'on peut faire la connexion aujourd'hui par exemple ou vous préférez le faire début juin, une fois rxt1 et rtx2 seront en ligne ?
Cordialement,
--- Marisol Rodriguez Perez
-- Administratrice Réseau et Systèmes LIPN - LAGA Bureau A308 Tel : 01 49 40 35 43
J'ai demandé à Xudong et Ghazi d'arrêter leurs jobs. Vous pouvez y aller. Et est-ce que tu peux redémarrer le serveur slurm de 192.168.90.120 et lipn-rtx2 ? (j'ai terminé les jobs sur lipn-rtx3) Joseph
Le 2021-05-17 19:51, Joseph Le Roux a écrit :
Merci Marisol, tout est clair. Pour lipn-rtx2, je dis à Xudong de repasser sur labex pour ses prochains jobs, et je fais pareil. Comme ça quand tout sera fini sur lipn-rtx3 je te le signale et tu pourras redémarrer slurm. Et pour la mailing-list ? Bien cordialement, Joseph Marisol Rodriguez Perez <marisol.rodriguez@lipn.univ-paris13.fr> writes:
Bonjour, Les réponses ci-dessous. Cordialement, --- Marisol Rodriguez Perez -- Administratrice Réseau et Systèmes LIPN - LAGA Bureau A308 Tel : 01 49 40 35 43 Le 2021-05-16 11:17, Joseph Le Roux a écrit :
Bonjour Marisol, il y a pas plusieurs problèmes avec les GPU que je t'ai signalés pour certains il y a presque 15 jours pour d'autres il y a une semaine, penses-tu pouvoir les résoudre bientôt ? Car si on ajoute la mise à jour de lipn-rtx1 qui rend cette machine indisponible, on se retrouve coincés avec très peu de GPU à se partager. - sur labex, on ne peut plus rien lancer: On avait coupé le serveur pour mettre les cartes 2080, cependant ça n'a pas été possible car il manque les câbles pour brancher les cartes. Ils sont été déjà commandés. Après qu'on a remis le serveur apparemment, il y a eu un souci avec le redémarrage des cartes gpu. Maintenant ça l'air bon.
JOBID PARTITION NAME USER ST TIME NODES NODELIST(REASON) 7843 labex Supervis laurene. PD 0:00 1 (Nodes required for job are DOWN, DRAINED or reserved for jobs in higher priority partitions) 7844 labex Supervis laurene. PD 0:00 1 (Nodes required for job are DOWN, DRAINED or reserved for jobs in higher priority partitions) 7845 labex Supervis laurene. PD 0:00 2 (PartitionNodeLimit) - sur lipn-gpu, squeue renvoie JOBID PARTITION NAME USER ST TIME NODES NODELIST(REASON) 34 lipn global leroux CG 12:35 1 lipn-rtx2 35 lipn global leroux CG 9:48 1 lipn-rtx2
Depuis le premier mail j'ai essayé de régler le souci, mais effectivement je n'arrive pas non plus a couper ces travaux. Je crois qu'il faudra arrêter slurm, mais j'ai peur de tuer vos processus sur lipn-rtx3. J'ai redémarré la machine lipn-rtx2 plusieurs fois, sans succès. Pour lipn-rtx1 je vais l'installer au début juin. Il y a des choses que nous devons finir avec Xavier et il ne serait plus là.
depuis 3 semaines: ces deux jobs bloquent lipn-rtx2: impossible de les tuer ou de les annuler. la machine lipn-rtx2 est inutilisable. Peut-être devrait-on mettre en place une mailing-list pour les utilisateurs de GPU ? Parce que les utilisateurs de RCLN viennent vers moi quand il y a des problèmes mais, comme je ne peux rien faire à part leur dire de vous contacter et que c'est sûrement toujours pour les mêmes problèmes, c'est sûrement mieux que tout le monde soit au courant. Cordialement,
<#secure method=pgpmime mode=encrypt> -- Joseph Le Roux RCLN, LIPN, Université Sorbonne Paris Nord Tel: +33 (0) 1 49 40 32 13 URL: https://www.lipn.fr/~leroux GPG fingerprint: 647E BA11 F377 FA03 2A6A AFB6 6090 6D35 BE65 36C5
Bonjour, --- Marisol Rodriguez Perez -- Administratrice Réseau et Systèmes LIPN - LAGA Bureau A308 Tel : 01 49 40 35 43 Le 2021-05-19 13:56, Joseph Le Roux a écrit :
Marisol Rodriguez Perez <marisol.rodriguez@lipn.univ-paris13.fr> writes:
Bonjour,
Je vous propose 2 choses, on peut faire une liste avec l'option pour s’inscrire, comme ça les personnes concernés peuvent accéder au fur et à mesure dans la liste et sans notre intervention. L'autre chose, on peut faire une salle sur mattermost, nous sommes là tout la journée donc c'est plus facile pour nous de répondre en ligne.
Entièrement d'accord pour avoir les deux. Je pense que c'est mieux d'avoir une liste de mails, mais on peut mettre aussi en place en canal mattermost.
Est-ce que ça vous va une liste appelé gpu@lipn.univ-paris13.fr ?
ok. C'est juste un alias ou une liste (avec inscription/archive) ?
Oui c'est une liste avec inscription et archive. Je vais vous ajouter tout à l'heure.
Aussi les câbles pour brancher les cartes GPU sur le serveur labex sont arrives, est-ce qu'on peut faire la connexion aujourd'hui par exemple ou vous préférez le faire début juin, une fois rxt1 et rtx2 seront en ligne ?
J'ai redémarré l'ensemble de lipn-gpu et maintenant il marche rtx2 et rtx3, vous pouvez exécuter des taches spécifiquement dans un des nœuds avec srun/sbatch -w lipn-rtx2 par exemple, mais à la fin ce n'est pas nécessaire car slurm gère ça automatiquement. Les cartes sont installés sur labex, mais je suis en train de les configurer, je vous fait signe dès que le serveur soit disponible. Cordialement,
Cordialement,
--- Marisol Rodriguez Perez
-- Administratrice Réseau et Systèmes LIPN - LAGA Bureau A308 Tel : 01 49 40 35 43
J'ai demandé à Xudong et Ghazi d'arrêter leurs jobs. Vous pouvez y aller. Et est-ce que tu peux redémarrer le serveur slurm de 192.168.90.120 et lipn-rtx2 ? (j'ai terminé les jobs sur lipn-rtx3)
Joseph
Le 2021-05-17 19:51, Joseph Le Roux a écrit :
Merci Marisol, tout est clair. Pour lipn-rtx2, je dis à Xudong de repasser sur labex pour ses prochains jobs, et je fais pareil. Comme ça quand tout sera fini sur lipn-rtx3 je te le signale et tu pourras redémarrer slurm. Et pour la mailing-list ? Bien cordialement, Joseph Marisol Rodriguez Perez <marisol.rodriguez@lipn.univ-paris13.fr> writes:
Bonjour, Les réponses ci-dessous. Cordialement, --- Marisol Rodriguez Perez -- Administratrice Réseau et Systèmes LIPN - LAGA Bureau A308 Tel : 01 49 40 35 43 Le 2021-05-16 11:17, Joseph Le Roux a écrit :
Bonjour Marisol, il y a pas plusieurs problèmes avec les GPU que je t'ai signalés pour certains il y a presque 15 jours pour d'autres il y a une semaine, penses-tu pouvoir les résoudre bientôt ? Car si on ajoute la mise à jour de lipn-rtx1 qui rend cette machine indisponible, on se retrouve coincés avec très peu de GPU à se partager. - sur labex, on ne peut plus rien lancer: On avait coupé le serveur pour mettre les cartes 2080, cependant ça n'a pas été possible car il manque les câbles pour brancher les cartes. Ils sont été déjà commandés. Après qu'on a remis le serveur apparemment, il y a eu un souci avec le redémarrage des cartes gpu. Maintenant ça l'air bon.
JOBID PARTITION NAME USER ST TIME NODES NODELIST(REASON) 7843 labex Supervis laurene. PD 0:00 1 (Nodes required for job are DOWN, DRAINED or reserved for jobs in higher priority partitions) 7844 labex Supervis laurene. PD 0:00 1 (Nodes required for job are DOWN, DRAINED or reserved for jobs in higher priority partitions) 7845 labex Supervis laurene. PD 0:00 2 (PartitionNodeLimit) - sur lipn-gpu, squeue renvoie JOBID PARTITION NAME USER ST TIME NODES NODELIST(REASON) 34 lipn global leroux CG 12:35 1 lipn-rtx2 35 lipn global leroux CG 9:48 1 lipn-rtx2
Depuis le premier mail j'ai essayé de régler le souci, mais effectivement je n'arrive pas non plus a couper ces travaux. Je crois qu'il faudra arrêter slurm, mais j'ai peur de tuer vos processus sur lipn-rtx3. J'ai redémarré la machine lipn-rtx2 plusieurs fois, sans succès. Pour lipn-rtx1 je vais l'installer au début juin. Il y a des choses que nous devons finir avec Xavier et il ne serait plus là.
depuis 3 semaines: ces deux jobs bloquent lipn-rtx2: impossible de les tuer ou de les annuler. la machine lipn-rtx2 est inutilisable. Peut-être devrait-on mettre en place une mailing-list pour les utilisateurs de GPU ? Parce que les utilisateurs de RCLN viennent vers moi quand il y a des problèmes mais, comme je ne peux rien faire à part leur dire de vous contacter et que c'est sûrement toujours pour les mêmes problèmes, c'est sûrement mieux que tout le monde soit au courant. Cordialement,
<#secure method=pgpmime mode=encrypt>
participants (2)
-
Joseph Le Roux -
Marisol Rodriguez Perez