Bonjour tout le monde, je commence le python et je me trouve confronté à un petit problème.
Mon but et de parser des fichiers de log, le problème c'est qu'ils sont assez volumineux (plusieurs disaines de millier de lignes). Déjà avec un seul log, j'exécute un script dans le python shell et il se met à mouliner en utilisant tout le cpu mais ne termine jamais...
Je rajoute une difficulté de plus : je dois parser plusieurs milliers de fichiers logs du même style.
 
Auriez vous une idée ?

Peut-tu etre un peu plus precis, notamment sur la façon dont tu veux parser tes fichiers ?

J'ai fait quelques outils qui travaillent sur les gros fichiers et n'ai pas remarqué de ralentissement particulier. Et même si c'était le cas (traitement lourd), tu bénéficierais d'une bonne maquette en python avant de la reprendre en c++ par exemple.

Faudrait savoir à quel endroit ça coince exactement, parce que là il y a environ 0 infos permettant d'aider.
 
Est-ce que le chargement du fichier échoue parce qu'il est trop lourd? Est-ce que le fichier est tellement gros qu'il passe en swap au lieu de rester en RAM, rendant tous les traitements monstrueusement lents? Est-ce que ce sont les données extraites/travaillées qui sortent de la RAM? Est-ce que ce sont tes traitements qui sont trop lourds et bouffent tout le CPU?
 
Il faudrait que tu crées diverses versions allégées de ton script, et que tu surveilles l'état du système re ce processus en particulier, soit via le moniteur de perfs système soit via un outil fonctionnant à peu près genre Process Explorer (si tu es sous Windows) ou une variation de top (si t'es sous unix)