Forum |  HardWare.fr | News | Articles | PC | S'identifier | S'inscrire | Shop Recherche
1214 connectés 

 


 Mot :   Pseudo :  
 
Bas de page
Auteur Sujet :

partage de calcul

n°797034
bibi218
Posté le 29-03-2006 à 13:17:10  profilanswer
 

Bonjour à tous

 

Voilà, sûrement que ça va paraître idiot à certains, mais j'ai le cas de figure suivant :
- depuis mon poste, j'ai accès à x serveurs, auxquels je peux me logger avec rlogin, telnet, ssh, ce que je veux
- sur mon compte, x scripts que je souhaite exécuter en même temps, histoire de gagner du temps (en gros, j'ai programmé tout ça dans une optique prog parallèle)
Du coup, ma question toute bête : à partir d'un script de contrôle (python ou perl m'arrangerait bien) ou de mon bash tout simple, comment je vais pour exécuter tout ça. Le "à la main", ça me va pour x=10, mais en l'occurrence, je suis plutôt autour de 50-60, donc si je pouvais automatiser tout ça, ça m'aiderait bien !!!

 

Encore merci !

mood
Publicité
Posté le 29-03-2006 à 13:17:10  profilanswer
 

n°797036
mirtouf
Light is right !
Posté le 29-03-2006 à 13:22:06  profilanswer
 

du clustering ou plus simple ?


---------------
-~- Libérez Datoune ! -~- Camarade, toi aussi rejoins le FLD pour que la flamme de la Révolution ne s'éteigne pas ! -~- A VENDRE
n°797038
francoispg​p
Posté le 29-03-2006 à 13:28:12  profilanswer
 

clustering simple = OpenMosix ou OpenSSI
clustering beowulf/PBS/etc... pour le calcul (necessire d'ecrire l'application specifique pour envoyer les calculs et regrouper les resultats) probablement ton cas
 
Sinon via script  


for i in node1 node2 ...... node50 ; do rsh $i "calcul.sh" >fichierlog.$i ; done
regroupementresultatsintermediaire.sh


 
mais bon là encore c'est brouillon mais en performances ça fa donner pas mal... que tu lances des scripts shell python ou perl après c'est à toi de voir selon ce que tu maitrises le mieux comme langage...

n°797143
bibi218
Posté le 29-03-2006 à 16:21:25  profilanswer
 

Ahhh, je viens de découvrir la commande rsh, ça aide pas mal déjà !!!
Je pense qu'avec ça, je devrais pouvoir me débrouiller.
En ce qui concerne le clustering, j'avoue ne pas y connaître grand chose. A ma connaissance, rien n'est installé sur nos machines dans cette optique, donc j'ai pensé au script du coup...
Merci beaucoup pour les infos !

n°797448
bibi218
Posté le 30-03-2006 à 13:19:17  profilanswer
 

Me revoilà. Donc j'ai cuisiné un petit script Python et j'ai effectivement pu lancer toutes mes tâches sur les serveurs.
Seul petit hic, c'est qu'une fois lancée, je n'ai plus aucun contrôle dessus. Pas moyen de l'arrêter, de savoir si elle s'est terminée, etc...
Au départ, je voulais attendre que toutes soient terminées, afin de pouvoir mixer les fichiers logs. Du coup, j'ai pensé à les lancer dans des threads différents (sinon, pas moyen de faire du simultané, il me fait bien tous les serveurs, mais à la suite, pas en même temps).
Problème, lorsque dès que la commande rsh se lance, mon thread se termine, tandis que le calcul continue tranquilement sur le poste voisin lol
N'étant pas trop familier avec les threads (et encore moins sous Python), je me demande si :
- soit l'approche thread n'est pas la bonne, auquel cas quelqu'un a une idée ?
- soit je fais un mauvais truc avec, auquel cas, même topo lol
Encore merci à ceux qui m'ont déjà répondu :)

n°797451
francoispg​p
Posté le 30-03-2006 à 13:35:43  profilanswer
 

en shell ça se gere tres bien en scriptant (recuperer les n° des process) ensuite on peut les surveiller les accelerer/ralentir (renice) et même les tuer en cas de besoin, et bien sur voir si ils sont fini ou non...
 
mais sur python je ne sais pas t'aider....


Aller à :
Ajouter une réponse
 

Sujets relatifs
mount un partage win avec un domaine[Résolu] [ Suse 10 ] Partage de connexion
un super forum de partage !Monter un partage Win sur Linux
partage de connection sous kubuntuPartage de fichiers en vpn
multifonction partage linux/winPartage d'imprimante avec SAMBA
monter autoatiquement un partage samba[Mandriva 2006] Utilitaire pour configurer le partage de fichiers
Plus de sujets relatifs à : partage de calcul


Copyright © 1997-2022 Hardware.fr SARL (Signaler un contenu illicite / Données personnelles) / Groupe LDLC / Shop HFR