[bash] extraction des erreurs dans un log

Recherche :

Mot : Pseudo : Filtrer
Bas de page
Auteur	Sujet : [bash] extraction des erreurs dans un log

rapha3L

Bongour

Voila, je souhaite extraire les erreurs d'un fichier log de type

Citation :

DEBUG <25/07/2009 13:42>, blabla
blabla

DEBUG <25/07/2009 13:42>, blabla
blabla

ERROR <25/07/2009 14:51>, blabla
blabla blabla blabla
blabla blabla blabla

L'objectif est d'extraire les erreurs avec tout le blabla en dessous, ce qui représente en gros une 100aine de lignes par erreur.

J'ai fais un script à l'arrache qui me permet de récupérer tout ce qu'il faut, le problème c'est qu'il met 3 min pour un fichiers de log de 70.000 lignes [:tinostar]

Attention les yeux [:ripthejacker:3]

Citation :

while read lignes
do

case $(echo $lignes | cut -d " " -f1 ) in

ERROR) echo "" >> $file && echo $lignes >> result.txt && continue=1 ;;

DEBUG|WARN|INFO) continue=0;;

*) if [ "$continue" = "1" ];then echo $lignes >> $file ;fi;;
esac

done < $log

Avec awk j'arrive uniquement à extraire la ligne contenant le champ ERROR mais j'arrive pas à récupérer tout le blabla qui vient après. Z'auriez pas une idée?

Thx [:augie]

Message édité par rapha3L le 28-07-2009 à 15:44:41

Publicité

rapha3L

Bon, j'ai réussi à pondre mon code optimisé, je passe de 3 min à 3 secondes, la puissance du AWK quoi [:dawa]

Message cité 1 fois

Sve@r

rapha3L a écrit :

Bon, j'ai réussi à pondre mon code optimisé, je passe de 3 min à 3 secondes, la puissance du AWK quoi [:dawa]

T'as tenté la puissance du Python ???

Code :

#!/usr/bin/env python
# coding: Latin-1 -*-
fp_in=open("fichier_log", "r" )
fp_out=open("retult.txt", "w" )
for line in fp_in:
mot=line.split(" " )[0]
if mot == "ERROR": continue=True
if mot in ["DEBUG", "WARN", "INFO"]: continue=False
if continue: fp_out.write("%s" % line)
# for
fp_in.close()
fp_out.close()

Et je n'ai fait que réécrire ton algo shell...

---------------
Vous ne pouvez pas apporter la prospérité au pauvre en la retirant au riche.

rapha3L

Jteste demain sur un log de 140mo [:gaga jap]

Programe testé, il a pas trop apprécié la variable `continue` donc je l'ai remplacé par autre chose.
Ton script en python est bien mais il reste 2 fois plus lent [:ocube]
Néanmonis le python semble intéressant et "facile" à utiliser. Si t'as un bon tuto, je suis preneur

Mon truc en awk:

Code :

#!/bin/bash
log=$1
fic=resultat_awk.txt
awk '
{
if ( $1 ~ "ERROR" )
{ pouet=1; print $0;}
else if ( $1 ~ /(DEBUG|INFO|WARNING)/ )
{ pouet=0;}
else if ( pouet == "1" ){print $0}
}
' < $log > $fic

Message cité 1 fois
Message édité par rapha3L le 30-07-2009 à 11:50:21

Taz

bisounours-codeur

magnifique le bash qui contient qu'un awk !

rapha3L

C'est un script que je vais utiliser ptet 2 fois dans l'année, donc on va dire que je suis allé à l'essentiel [:ocube]

Taz

bisounours-codeur

sinon si c'est le premier mot, te biles pas, tu peux faire ça avec grep.

rapha3L

J'ai utilisé grep ERROR -A 2 pour avoir les 2 premières lignes. Mais comme j'avais du temps à tuer je suis parti dans un truc un peu plus complet.
D'ailleurs jvais ptet me mettre au Perl histoire de m'occuper

Sve@r

rapha3L a écrit :

Programe testé, il a pas trop apprécié la variable `continue` donc je l'ai remplacé par autre chose.

Arf suis trop con. J'ai utilisé ta variable shell sans penser que c'était un mot clef Python (et aussi C, Pascal et autres). Mais bon, j'ai tapé ça "en live"...

rapha3L a écrit :

Ton script en python est bien mais il reste 2 fois plus lent [:ocube]

Là suis étonné !!!

rapha3L a écrit :

Néanmoins le python semble intéressant et "facile" à utiliser. Si t'as un bon tuto, je suis preneur

Le tuto de Swinnen (400 pages). Tape "python swinnen" dans un moteur de recherche...

rapha3L a écrit :

D'ailleurs jvais ptet me mettre au Perl histoire de m'occuper

Et pas Python ???

Message édité par Sve@r le 30-07-2009 à 20:45:06

---------------
Vous ne pouvez pas apporter la prospérité au pauvre en la retirant au riche.

rapha3L

Héhé. J'ai lu quelques comparatifs python/perl aujourd'hui, tout le monde semble être d'accord sur le fait que perl est illisible et que python est plus facile pour les débutants.
Vous avez pu le constater, je sais pas programmer et mon bash vole pas haut, jrisque de m'y casser les dents sur le perl.
Néanmoins jvais tremper le bout des doigts dans les docs que j'ai trouvé et tester si j'arrive à quelquechose.
Je compte aussi tester python par la suite, ne t'inquiète pas. Par contre j'aurai peu d'occasion de l'utiliser dans mon taf, du coup je sais pas si c'est intéressant de se farcire des docs de 400 pages :sweat:

Concernant la vitesse d'éxecution de ton script, j'ai dit que c'étais 2 fois plus lent, donc en gros 3 bonnes secondes. De plus, mon log de 140mo ne contenait que 28 erreurs, c'est ptet pas assez... Demain je teste avec 2000 erreurs histoire de voir comme ce débrouillent nos scripts

Message cité 2 fois

Publicité

Sve@r

rapha3L a écrit :

Héhé. J'ai lu quelques comparatifs python/perl aujourd'hui, tout le monde semble être d'accord sur le fait que perl est illisible et que python est plus facile pour les débutants.

C'est vrai que Python ça s'apprend les doigts dans le nez comparé à d'autres langages (je suis tombé hier sur un tuto de "Rebol", j'ai été gavé au bout de 3 lignes)

rapha3L a écrit :

Je compte aussi tester python par la suite, ne t'inquiète pas. Par contre j'aurai peu d'occasion de l'utiliser dans mon taf, du coup je sais pas si c'est intéressant de se farcir des docs de 400 pages :sweat:

Effectivement. Faut en avoir l'utilité. Mais bon, sur les 400 pages, il y a un gros pavé dédié aux librairies (sql, tkinter, turtle, etc) et la partie pur Python est plus réduite...

---------------
Vous ne pouvez pas apporter la prospérité au pauvre en la retirant au riche.

rapha3L

Y'a un topic python sur HFR? [:dawa]

Taz

bisounours-codeur

rapha3L a écrit :

Sinon les vrais hommes codent et logguent avec log4* ou syslog, du coup, les erreurs peuvent être redirigées directement vers un log spécial.

rapha3L

C'est pas mon taf [:spamafote]
C'etait une demande ponctuelle [:ocube]

FORUM HardWare.fr

Programmation

Shell/Batch

[bash] extraction des erreurs dans un log

Sujets relatifs
[Access 2000] Fct Vrai-Faux erreurs	Enregistrer une base de données access et gérer les erreurs
1er site à la main et premieres erreurs	Problème gestion des erreurs
Gestion des erreurs dans une chaine de tubes	[ksh ou bash] Erreur avec sed
Jeux des 7 erreurs	commande bash echo
[Script] Piloter une application windows avec une gestion des erreurs	bash mysql
Plus de sujets relatifs à : [bash] extraction des erreurs dans un log

Page générée en 0.070 secondes