pb avec la gestion des threads et le resultat sur la sortie std

Recherche :

Mot : Pseudo : Filtrer
Bas de page
Auteur	Sujet : pb avec la gestion des threads et le resultat sur la sortie std

Portanoo92

Bonjour,

Je suis actuellement en autoformation sur Python.
J'essaye de m'attaquer à la gestion des threads dans le cadre de mon boulot
(récupération d'information sur des postes XP du reseau via WMI)

La gestion des threads semble fonctionner correctement, mon seul problème, c'est que lorsque je souhaite ecrire dans un fichier texte ou bien affcher à l'ecran le resultat de ma recherche via WMI,
j'ai parfois le resultat de 2 threads sur la même ligne.

D'une part j'affiche avec print le resultat sur ma sortie std, et d'autre part dans un fichier uptime.csv.
Seulement de temps à autre j'ai le résultat suivant:

Suppression du fichier de resultat...
Debut du traitement a : Thu Jul 31 11:26:32 2008

Computername LastBootuUpTime Uptime (in Hour)
poste1 07/31/2008 03:12:06 8
poste17 07/30/2008 22:01:37 13
poste25 07/30/2008 22:01:36 13
poste33 07/30/2008 22:01:10 13
poste45 07/28/2008 21:33:38 61
poste47 07/30/2008 22:00:26 13
poste16 07/31/2008 03:11:57 poste34 07/30/2008 21:59:42 WXP0064 07/30/2008 22:02:08 13

J'ai essayé de regarder du coté de Lock mais j'avoue avoir un peu de mal :-)

exemple de code:

Code :

# -*- coding:utf-8 -*-
from threading import Thread, Lock
from time import sleep, ctime
import Queue, time, random, pythoncom, wmi, os, re, win32com.client
maxthreads = 20 # maximum number of concurrent threads
loops = []
class Worker(Thread):
def __init__(self, q):
Thread.__init__(self)
self.q = q
def run(self):
all_done = 0
log = open('C:\\uptime.csv', 'a')
def WMIDateStringToDate(dtmDate):
strDateTime = ""
if (dtmDate[4] == 0):
strDateTime = dtmDate[5] + '/'
else:
strDateTime = dtmDate[4] + dtmDate[5] + '/'
if (dtmDate[6] == 0):
strDateTime = strDateTime + dtmDate[7] + '/'
else:
strDateTime = strDateTime + dtmDate[6] + dtmDate[7] + '/'
strDateTime = strDateTime + dtmDate[0] + dtmDate[1] + dtmDate[2] + dtmDate[3] + " " + dtmDate[8] + dtmDate[9] + ":" + \
dtmDate[10] + dtmDate[11] +':' + dtmDate[12] + dtmDate[13]
return strDateTime
while not all_done:
try:
table = self.q.get(0)
pythoncom.CoInitialize()
host = loops[table]
#stdout_lock = Lock()
#stdout_lock.acquire()
try:
strComputer = host
objWMIService = win32com.client.Dispatch("WbemScripting.SWbemLocator" )
objSWbemServices = objWMIService.ConnectServer(strComputer,"root\cimv2" )
colItems = objSWbemServices.ExecQuery("SELECT * FROM Win32_OperatingSystem" )
colItems2 = objSWbemServices.ExecQuery("SELECT * FROM Win32_PerfFormattedData_PerfOS_System" )
for objItem in colItems:
log.write(host + ";" + WMIDateStringToDate(objItem.LastBootUpTime) + ";" )
print host, WMIDateStringToDate(objItem.LastBootUpTime),
for objItem2 in colItems2:
up = int(objItem2.SystemUpTime)/60/60
log.write(str(up) + "\n" )
print up
except:
lPing = os.popen('ping '+ host + ' -n 1','r')
sLigne = lPing.read()
lResult = re.search('(perdus = 0)',sLigne)
try:
if ( len(lResult.groups(0)) == 1 ):
print "Probleme de connexion via WMI sur " + host
except:
print "Pas de réponse au ping du " + host
finally:
pythoncom.CoUninitialize()
#stdout_lock.release()
except Queue.Empty:
all_done = 1
if __name__ == "__main__":
if os.path.exists('C:\\uptime.csv'):
print "Suppression du fichier de resultat..."
os.remove('C:\\uptime.csv')
else:
print "Le fichier de resultat n'existe pas il sera cree automatiquement..."
print "Debut du traitement a :", time.ctime()
start = "Debut du traitement a : " + time.ctime()
fname = open('C:\\postes.txt', 'r')
for line in fname:
loops.append(line.strip('\n'))
fname.close()
q = Queue.Queue()
for i in range(len(loops)):
q.put(i)
threads = []
for i in range(maxthreads):
t = Worker(q)
threads.append(t)
t.start()
# wait for all threads to complete
for t in threads:
t.join();
print "Fin du traitement a :", time.ctime()

Mon problème se situe ici:

Code :

strComputer = host
objWMIService = win32com.client.Dispatch("WbemScripting.SWbemLocator" )
objSWbemServices = objWMIService.ConnectServer(strComputer,"root\cimv2" )
colItems = objSWbemServices.ExecQuery("SELECT * FROM Win32_OperatingSystem" )
colItems2 = objSWbemServices.ExecQuery("SELECT * FROM Win32_PerfFormattedData_PerfOS_System" )
for objItem in colItems:
log.write(host + ";" + WMIDateStringToDate(objItem.LastBootUpTime) + ";" )
print host, WMIDateStringToDate(objItem.LastBootUpTime),
for objItem2 in colItems2:
up = int(objItem2.SystemUpTime)/60/60
log.write(str(up) + "\n" )
print up
except:
lPing = os.popen('ping '+ host + ' -n 1','r')
sLigne = lPing.read()
lResult = re.search('(perdus = 0)',sLigne)
try:
if ( len(lResult.groups(0)) == 1 ):
print "Probleme de connexion via WMI sur " + host
except:
print "Pas de réponse au ping du " + host
finally:
pythoncom.CoUninitialize()
#stdout_lock.release()
except Queue.Empty:
all_done = 1

D'une part j'affiche avec print le resultat sur ma sortie std, et d'autre part dans un fichier uptime.csv.
Seulement de temps à autre j'ai le résultat suivant:

Suppression du fichier de resultat...
Debut du traitement a : Thu Jul 31 11:26:32 2008

Computername LastBootuUpTime Uptime (in Hour)
poste1 07/31/2008 03:12:06 8
poste17 07/30/2008 22:01:37 13
poste25 07/30/2008 22:01:36 13
poste33 07/30/2008 22:01:10 13
poste45 07/28/2008 21:33:38 61
poste47 07/30/2008 22:00:26 13
poste16 07/31/2008 03:11:57 poste34 07/30/2008 21:59:42 WXP0064 07/30/2008 22:02:08 13

J'ai essayé de regardé du coté de Lock mais j'avoue avoir un peu de mal :-)

Message édité par Portanoo92 le 31-07-2008 à 12:42:52

Publicité

multani

Dépressionnisé

Bon, c'est un peu le bordel :
* t'as des noms de variables qui aident pas du tout (colItems, colItems2 ?)
* la notation hongroise, quelle horreur [:pingouino]
* et t'as le droit de rajouter des espaces et des retours à la ligne pour que ça soit lisible.

En plus, le résultat de ton fichier correspond pas à ton code (il manque les ";" entre les champs).

Bon, ceci dit, voici quelques pistes quand même.

Je pense pas que ta variable loops serve à grand chose (en plus d'avoir un nom super explicit [:pingouino] ), pourquoi tu enregistres pas les noms d'hôtes que tu veux scanner directement dans l'objet Queue ?

Ensuite, Python dispose d'un type booléen, donc les trucs genre :

Code :

all_done = 0
while not all_done:
    [...]
    all_done = 1

ça marche, mais ça mérite la pelle à clou.

Surtout que tu pourrais faire plus simplement (et plus proprement aussi) :

Code :

while True:
    try:
        host = self.q.get(0)
    except Queue.Empty:
        break

Ton catch de l'exception Queue.Empty concerne juste ce bout de code, pas besoin de tout englober, ça aide pas vraiment à la relecture.

Sinon, ton problème se situe là dedans :

Code :

for objItem in colItems:
    log.write(host + ";" + WMIDateStringToDate(objItem.LastBootUpTime) + ";" )
 
for objItem2 in colItems2:
    up = int(objItem2.SystemUpTime)/60/60
    log.write(str(up) + "\n" )

Forcément, tu commences à écrire ton nom d'hôte et la date de boot, puis après, tu écrit l'uptime avec un retour à la ligne. Si t'as un thread qui débarque entre les deux, plaf.
D'ailleurs, on dirait que t'as qu'un seul objet dans colItems et colItems2 (super nom nan ? [:petrus75] ) ... J'espère pour toi, tu risques d'avoir des suprises pour relire ton CSV après

multani

Dépressionnisé

Ah oui, et ya des fonctions dans la stdlib pour formatter les dates.

masklinn

í dag viðrar vel til loftárása

Faut jamais écrire dans un fichier donné (ou une sortie donnée) depuis deux threads en même temps.

Crées plutôt un 3e thread qui va gérer le fichier de logging, et récupèrera ses résultats d'une Queue.Queue (via Queue.get() utilisé en blocker).

Accessoirement, Queue.get c'est un booléen qu'il prend, donc prière d'utiliser "False" (ou encore mieux "block=False" ) et non juste "0".

D'ailleurs, il serait encore plus intelligent d'utiliser Queue.get_nowait que Queue.get(False), c'est équivalent et infiniment plus clair.

---------------
I mean, true, a cancer will probably destroy its host organism. But what about the cells whose mutations allow them to think outside the box by throwing away the limits imposed by overbearing genetic regulations? Isn't that a good thing?

masklinn

í dag viðrar vel til loftárása

Accessoirement, histoire d'éliminer ton flag de terminaison de threads, tu devrais regarder du côté de Queue.task_done et Queue.join

multani

Dépressionnisé

Ah ouais, j'ai confondu block et timeout dans Queue.get()

Sinon, c'est vrai que ça serait mieux de passer par un 3ème thread :jap:

Message cité 1 fois

masklinn

í dag viðrar vel til loftárása

multani a écrit :

Ah ouais, j'ai confondu block et timeout dans Queue.get()

Sinon, c'est vrai que ça serait mieux de passer par un 3ème thread :jap:

D'ailleurs en passant ses Queue.get_nowait en Queue.get il pourrait commencer par lancer tous ses workers et ensuite seulement remplir la queue, histoire de perdre moins de temps

multani

Dépressionnisé

Certes

J'ai regardé Queue.task_done() et Queue.join(), chuis pas sûr de comprendre : si la queue est vide, le join() débloque le thread principal, mais du coup, les workers restent en attente sur le get() non ?

Sinon, en re-regardant la doc de get(), c'est moi ou c'est pas très malin d'avoir block et timeout ? [:pingouino]

Message cité 1 fois

masklinn

í dag viðrar vel til loftárása

multani a écrit :

Oui, la pièce du puzzle qui te manque c'est Thread.setDaemon: quand thread principal se termine, le processus processus python meurt s'il ne reste que des threads daemonifiés.

Donc tu daemonifies le logger et tous les workers, quand les queues (work et log) sont terminées leurs join() libèrent le thread principal, qui se termine, ne restent que les loggers et workers qui sont daemonifiés donc le process python se termine et tue les threads [:dawa]

multani a écrit :

Sinon, en re-regardant la doc de get(), c'est moi ou c'est pas très malin d'avoir block et timeout ? [:pingouino]

timeout=0 pourrait avantageusement remplacer block=False (si ça a le bon comportement, mais je ne suis pas sûr de ce que fasse timeout=0, si ça se trouve il fait comme timeout=None: pas de timeout), mais timeout est arrivé bien après block

Par contre, je viens de me souvenir (et de voir dans la doc) que Queue.task_done et Queue.join sont arrivés dans Python 2.5, donc si portanoo92 est encore en 2.4 ou inférieur il ne les a pas et n'a d'autre choix que de join() sur les threads :jap:

Message cité 1 fois

multani

Dépressionnisé

masklinn a écrit :

[:romf]

masklinn a écrit :

Ouais, j'imagine que c'est des histoires de compatibilité ... Mais du coup, ça fait réfléchir pour rien [:ocube]

FORUM HardWare.fr

Programmation

Python

pb avec la gestion des threads et le resultat sur la sortie std

Sujets relatifs
afficher le resultat d'une requete sql sur 2 colonnes	Rewriter le résultat d'une requete php
Appli PHP de gestion des users + mails	[batch] automatisation de copie avec gestion des doublons
Cherche CMS pour gestion de film	[SQL] "Insert into" et gestion des duplicata?
[Résolu][C]condition de sortie d'une boucle while = retour chariot	AutoIt3 - affichage fenêtre et sortie d'erreur
Analyse et MCD gestion de stock	Gestion de tranches horaires sur deux jours
Plus de sujets relatifs à : pb avec la gestion des threads et le resultat sur la sortie std

Page générée en 0.080 secondes