Bonjour,
 
j'aimerais créer un script permettant de compter le nombre de doublons d'un tableau pour chaque cas. Par exemple, j'ai un CSV du type suivant (que je mets dans un Array) :
 

J'ai déjà cette méthode qui permet de supprimer les doublons :
 

Mon but final est d'obtenir un tableau qui récapitule le nombre de fois qu'un utilisateur s'est connecté au serveur 1 ou au serveur 2, par jour.

Bien sûr, dans mon fichier, je n'ai pas seulement l'utilisateur "titi" (j'ai en revanche uniquement 2 serveurs). Pourriez-vous me donner des conseils pour atteindre mon but ? Pas du code tout mâché, mais un algo ou la méthode pour procéder. Peut-être que la méthode "compter le nombre de doublons pour chaque cas, puis supprimer les doublons" que j'ai choisi n'est pas la meilleure...
 
Je précise que je ne suis pas très expérimenté en Perl, donc n'hésitez pas à détailler votre pensée. Merci d'avance pour vos réponses !

Si j'ai bien compris, on veut amalgamer les cas du serveur 1 et du serveur 2 pour un même user, le même jour.
Le plus simple:
Tu définis un hash, pour lequel la clé va être l'info discriminante, et la valeur pour une clé, le nombre d'occurences dans le tableau.
 

#!/usr/bin/perl
 
# error-check flags
use strict;
use warnings;
# Use readable built-in names
use English qw( -no_match_vars );
 
# array contenant les lignes inutile de te préoccuper de ce code, 
# c'est juste que c'était plus rapide a écrire que de passer par l'ouverture d'un fichier de données
my @csv= <<EOT =~ m/^\s*(.*?)\s*\n/mg; # Le texte qui suit est decoupé en array par ligne, on en profite pour bouffer les espaces aux extremités de ligne
14/04/2011,titi,serveur1 
14/04/2011,titi,serveur2 
14/04/2011,titi,serveur1 
14/04/2011,titi,serveur1 
15/04/2011,titi,serveur2 
15/04/2011,titi,serveur1 
15/04/2011,titi,serveur2 
15/04/2011,titi,serveur1 
15/04/2011,titi,serveur2 
15/04/2011,titi,serveur2 
18/04/2011,titi,serveur2 
18/04/2011,titi,serveur1 
18/04/2011,titi,serveur1 
18/04/2011,titi,serveur1 
EOT
 
my %myhash;
my @parsed;
foreach (@csv) {
  @parsed = split /\s*\,\s*/, $_; # découpage en champs séparés par une virgule, on en profite pour bouffer les espaces autour des champs
  $myhash{$parsed[0].".".$parsed[1]}++;  # clé formée sur la date et le nom
}
 
print "rank  user  date\n";
foreach (sort {$myhash{$b} <=> $myhash{$a}} (keys(%myhash))) { # On crée l'array des clés du hash, on l'ordonne par tri sur la valeur associée à la clé
  m/([^.]+)\.(.*)/;  # regexp de retrouver les deux constituants de la clé dans $1 et $2
  print $myhash{$_}, "  ", $2, "  ", $1, "\n";
}

 
Donc le principe,  
1) on découpe l'array en champs, avec split (ou une expresssion régulière ad-hoc, selon le format de ses données)
2) On fabrique une clé primaire par la concaténation des champs discriminants, ici, le premier champ $parsed[0] la date, et le second $parsed[1] le nom
3 on crée un hash dont la clé est cette clé primaire, et dont la valeur est incrémenté à chaque fois qu'elle est trouvée dans les données $myhash{$parsed[0].".".$parsed[1]}++;  
 
On aurait tout aussi bien pu faire:

my %myhash;
foreach (@csv) {
  if (m#\s*(\d\d\/\d\d\/\d\d\d\d)\s*,\s*(\w+)\s*,\s*(\w+)\s*#) {
      $myhash{$1.".".$2}++;
    }
}

 
 
Le reste, c'est l'application de la méthode standard
foreach (sort {$myhash{$b} <=> $myhash{$a}} (keys(%myhash))) {  
  print $myhash{$_}, "  ", $_, "\n";
}
qui permet d'imprimer un hash trié par valeur (le tri est numérique ici, mais il pourrait être lexicographique ou autre)
A+,

Bon, perso, si j'avais eu ceci à faire, j'aurais procédé ainsi:
 

#!/usr/bin/perl
 
# error-check flags
use strict;
use warnings;
# Use readable built-in names
use English qw( -no_match_vars );
 
my %myhash;
while (<> ) { # les lignes sont dans un fichier passé en paramètre au script
  # clean up
  chop;
  s/^\s*//;
  s/\s*$//;
  s/\s*,\s*/,/g;
  next unless /./;
  # On a ici des lignes non vides nettoyées des blancs inutiles
  my $key = (split(/([^,]+,[^,]+)/, $_))[1];
  $myhash{$key} = [0, (split(/,/, $_))[1,0], join("", (split(/[\/,]/, $_))[2,1,0])] unless defined($myhash{$key});
  $myhash{$key}[0]++;
}
 
print "rank  user  date\n";
foreach (sort {$myhash{$b}[0] <=> $myhash{$a}[0] or
           $myhash{$a}[1] cmp $myhash{$b}[1] or
           $myhash{$b}[3] <=> $myhash{$a}[3]} (keys(%myhash))) {
  print "   ", join("  ", @{$myhash{$_}}[0..2]), "\n";
}

 
c'est la même méthode, mais en plus sophistiqué:
 
Je créée toujours une clé discriminante pour un hash
my $key = (split(/([^,]+,[^,]+)/, $_))[1];  
je découpe par morceau contenant une virgule et encadré par deux virgules ou le début/fin de ligne, et je ne prends que le premier morceau,  
ça me donne pour une ligne "14/04/2011,titi,serveur1" la portion du début "14/04/2011,titi" qui est ce sur quoi on discrimine les lignes (date et nom)
 
Mais au lieu de donner au hash comme valeur le nb de fois que la clé à été rencontrée, je donne comme valeur au hash un tableau (anonyme)
$myhash{$key} = [ .. ]  
comme premier élément du tableau, je vais mettre le nb de fois que la clé à été rencontrée
 
ensuite je met le champ nom et le champ date, obtenus a coups de split sur la bonne regexp
(split(/,/, $_))[1,0]: on splitte la ligne sur la virgule, et on ne prend que les champs 1 et 0 donc ce qui est après la 1ère virgule et ce qui est avant, ie le nom et la date
 
enfin, pour pouvoir éventuellement trier sur la date, j'ajoute un élément composé de l'année suivi du mois suivi du jour, à coup de regexp:
join("", (split(/[\/,]/, $_))[2,1,0])
 
donc au final, pour une ligne comme
"14/04/2011,titi,serveur1"
j'ai une clé "14/04/2011, titi", et si le hash ne contient pas encore cette clé, je lui ajoute cette clé avec comme valeur le tableau
[1, titi, 14/04/2011, 20110414]
et si le hash contient déjà la clé, j'incrémente juste la première entrée du tableau
[En fait, dans le premier élément, je met 0 a la création, et j'incrémente systématiquement ensuite, c'est équivalent plus simple à relire.]
 
Ensuite, c'est le code d'impression comme précédemment mais un peu amélioré:
On trie par rang (tri numérique), à rang égal, on trie sur le nom (tri lexicographique) et a rang et nom égal, on trie sur la date (tri numérique sur le dernier champ, qui a été construit pour cela)
 
Ensuite on imprime le clé du hash et le tableau de ses valeurs sauf la dernière, qui n'était la que pour servir au tri.
 
L'intérêt ici c'est qu'en changeant l'ordre des tris, je peux exploiter autrement mes données.
 
Bon après, on peut utiliser les routines de format de perl, pour un rapport plus lisible:

foreach (sort {$myhash{$b}[0] <=> $myhash{$a}[0] or
           $myhash{$a}[1] cmp $myhash{$b}[1] or
           $myhash{$b}[3] <=> $myhash{$a}[3]} (keys(%myhash))) {
  write;
}
format STDOUT_TOP=
  Rank    User Name          Date
=====================================
.
 
format STDOUT=
@>>>>>  | @<<<<<<<<<<< | @<<<<<<<<< |
$myhash{$_}[0], $myhash{$_}[1], $myhash{$_}[2]
.

A+,

Merci pour ta réponse, gilou. Excuse-moi de ne pas t'avoir répondu, je n'ai pas été prévenu des nouveaux messages dans le topic (je croyais que la notification par mail était activée par défaut) :\
 
Bref, je venais pour clore le sujet. Celui-ci a été résolu sur le Site du Zéro, je te donne le lien, je pense que la méthode peut t'intéresser. Je la trouve plus simple que la tienne :
 
http://www.siteduzero.com/forum-83 [...] bleau.html

Merci.
C'est plus ou moins ce que je faisais, sauf que tu sembles vouloir séparer les sites (j'avais cru que tu voulais les confondre), et qu'il y a une technique que je ne connaissais pas, car je ne l'avais jamais employée, et qui est super simple en effet [j'ai du relire trois fois le ++$h{$t[0]}{$t[1]}{$t[2]} pour que le déclic se fasse, et que je pense "Bon sang mais c'est bien sur..." ], la création de multiples hashs imbriqués. C'est du même style que ce que je faisais à la main, mais plus direct (en terme de lignes de code, avec ma création d'un tableau anonyme).
Je retiendrais dorénavant cette technique, car c'est assez pratique, ça simplifie des trucs que j'aurais fait à la main sinon.
 
A+,

En reprenant mon code, et en utilisant cette astuce:  

#!/usr/bin/perl
 
# error-check flags
use strict;
use warnings;
# Use readable built-in names
use English qw( -no_match_vars );
 
my (%myhash, %hsites);
my ($date, $user, $site);
while (<> ) {
  # clean up
  chop;
  s/^\s*//;
  s/\s*$//;
  s/\s*,\s*/,/g;
  next unless /./;
  # On a ici des lignes non vides nettoyées des blancs inutiles
  ($date, $user, $site) = split /,/;
  ++$myhash{$date}{$user}{$site};
  ++$hsites{$site};
}
 
my @sites = sort (keys %hsites); # pour avoir tous les sites au moment du listage
 
#print the header
print "   Date   \tUser\t";
foreach (@sites) {
  print $_, "\t";
}
print "\n";
 
foreach my $date (sort {join("", reverse(split(/\//, $b))) cmp join("", reverse(split(/\//, $a)))} (keys %myhash)) {
  foreach my $user (sort (keys %{$myhash{$date}})) {
    print $date, "\t", $user, "\t";
    foreach my $site (@sites) {
      if (defined($myhash{$date}{$user}{$site})) {
    print $myhash{$date}{$user}{$site}, "\t\t";
      }
      else {
    print "-", "\t\t";
      }
    }
    print "\n";
  }
}

 
Ou benji.txt est

 
 
A+,

C'est vrai que là, le code est plus court ! J'aime particulièrement ta ligne 33, où tu tries les dates en une seule ligne, alors que moi c'était toute une étape de trier les dates !  
 
J'ai néanmoins plus simple à te suggérer pour remplacer les lignes 37 à 42 où tu testes l'existence de $myhash{$date}{$user}{$site}. Ne fais pas ce test, et print cette variable. Seulement, mets-là entre parenthèse et ajoute //0 à la fin. De cette façon, si elle n'existe pas, c'est la avleur 0 qui sera mise (enfin, pour toi, ce sera un tiret). Comme ceci :
 

Vu que tu as l'air intéressé, j'aimerais bien te remettre à contribution ! J'aimerais à présent faire le total des connections par mois et par serveur. Pour obtenir quelque chose comme ceci :

À la base, j'ai réussi à créer un fichier CSV de la forme :

Aurais-tu une petite idée pour procéder ? je pense qu'il faudrait réutiliser le principe de l'auto-vivification, mais je n'ai pas réussi à l'appliquer pour ce cas

J'aimerais bien savoir ou c'est documenté dans Perl, ça.
Parce que si tu veux pas un chiffre, est ce que ça marche encore avec une chaine, je vais tester
 
Pour le truc récapitulatif, inutile de changer de fichier je pense.  
Je vais y jeter un œil.
 
EDIT: Oui, ca marche aussi avec du texte. On peut remplacer la fin de mon code précédent par  

foreach my $date (sort {join("", reverse(split(/\//, $b))) cmp join("", reverse(split(/\//, $a)))} (keys %myhash)) {
  foreach my $user (sort (keys %{$myhash{$date}})) {
    print $date, "\t", $user, "\t";
    foreach my $site (@sites) {
      print "", ($myhash{$date}{$user}{$site} // '-'), "\t\t";
    }
    print "\n";
  }
}

 
A+,

Je ne sais pas où c'est documenté :\ on m'a juste donné cette astuce sur un forum.
 
Si tu veux un chiffre en caractère par défaut, tu as juste à écrire ceci :

print ($myhash{$date}{$user}{$site}//0);

Par contre, si tu veux une chaîne de caractère (ou un caractère), il faut préalablement faire un test :

if (($myhash{$date}{$user}{$site}//0) == 0){$myhash{$date}{$user}{$site} = 'ta_chaine_de_char_exemple_tiret'}
print $myhash{$date}{$user}{$site};

Merci de chercher
 
EDIT : je viens de voir ton EDIT ^^ pour moi ça n'a pas marché de faire directement comme ça. Mais je concaténais la valeur avec une chaîne de caractère, apparemment y'a souvent des soucis avec la concaténation si on ne le fait pas comme il faut.

print ($myhash{$date}{$user}{$site}//0);

if (($myhash{$date}{$user}{$site}//0) == 0){$myhash{$date}{$user}{$site} = 'ta_chaine_de_char_exemple_tiret'}
print $myhash{$date}{$user}{$site};

Pas la peine: avec

foreach my $date (sort {join("", reverse(split(/\//, $b))) cmp join("", reverse(split(/\//, $a)))} (keys %myhash)) {
  foreach my $user (sort (keys %{$myhash{$date}})) {
    print $date, "\t", $user, "\t";
    foreach my $site (@sites) {
      print "", ($myhash{$date}{$user}{$site} // "****" ), "\t\t";
    }
    print "\n";
  }
}

ça me donne
 

 
Bon, je regarde le reste.
 
A+,

Il suffisait d'ajouter un nouveau hash, et de faire
++$newhash{substr($date,3,2)}{$site};
On prend comme clé le mois et ensuite le site.
Note: ça suppose néanmoins que on ne fait ça que sur 12 mois, car ça ne se préoccupe pas de l'année (sinon, il faudrait faire quelque chose comme ++$newhash{substr($date,3,2)}{substr($date,-4)}{$site}; et tenir compte de l'année dans le code d'affichage)

#!/usr/bin/perl
 
# error-check flags
use strict;
use warnings;
# Use readable built-in names
use English qw( -no_match_vars );
 
my (%myhash, %hsites);
my ($date, $user, $site);
my (%newhash);
while (<> ) {
  # clean up
  chop;
  s/^\s*//;
  s/\s*$//;
  s/\s*,\s*/,/g;
  next unless /./;
  # On a ici des lignes non vides nettoyées des blancs inutiles
  ($date, $user, $site) = split /,/;
  ++$myhash{$date}{$user}{$site};
  ++$hsites{$site};
  ++$newhash{substr($date,3,2)}{$site};
}
 
my @sites = sort (keys %hsites); # pour avoir tous les sites au moment du listage
 
#print the header
print "   Date   \tUser\t";
foreach (@sites) {
  print $_, "\t";
}
print "\n";
 
foreach my $date (sort {join("", reverse(split(/\//, $b))) cmp join("", reverse(split(/\//, $a)))} (keys %myhash)) {
  foreach my $user (sort (keys %{$myhash{$date}})) {
    print $date, "\t", $user, "\t";
    foreach my $site (@sites) {
      print "", ($myhash{$date}{$user}{$site} // "****" ), "\t\t";
    }
    print "\n";
  }
}
 
printf "\n\n";
#print the header
print "Mois   \t";
foreach (@sites) {
  print $_, "\t";
}
print "\n";
 
my @months = qw{Decembre Janvier Fevrier Mars Avril Mai Juin Juillet Aout Septembre Octobre Novembre Decembre};
 
foreach my $month (sort (keys %newhash)) {
  print $months[$month], "\t";
  foreach my $site (@sites) {
    print "", ($newhash{$month}{$site} // 0), "\t\t";
  }
  print "\n";
}

 
A+,

C'est bien ça, on ne se préoccupe pas de l'année. C'est juste pour voir quel serveur est le plus utilisé. J'essaie d'adapter ton code et je reviens te voir si j'ai un soucis. Merci bien

J'ai essayé d'adapter ton script au mien, mais ça ne fonctionne pas :\ aucun message d'erreur, mais ça n’affiche pas le tableau...
 

open($temp3,"temp3.csv" ) || die ("Erreur de lecture de temp3.csv" );
my (%myhash, %hsites);
my ($date, $user, $site);
my (%newhash);
while (my $m = <$temp3> )
{
    chomp $m;
    ($date, $user, $site) = split ',', $m;
    ++$myhash{$date}{$user}{$site};
    ++$hsites{$site};
    ++$newhash{substr($date,3,2)}{$site};
}
my @sites = sort (keys %hsites); # pour avoir tous les sites au moment du listage
my @months = qw{Avril Mai Juin Juillet Aout Septembre};
foreach my $month (sort (keys %newhash))
{
    print $html '<tr><td>'.$newhash{$month}.'</td><td>';
    foreach my $site (@sites)
    {
        print $html '<td>'.($newhash{$month}{$site}//0).'</td>';
    }
    print $html '</tr>';
}
close($temp3);

Les données sont stockées dans temp3.csv et j'ai des mois allant seulement de Avril à Septembre (mais après je pourrai rajouter d'autres mois, c'est pas ça le problème).
Concernant le HTML, <tr> c'est pour déclarer uen ligne et </tr> c'est pour la fermer. Pour les cases, c'est <td> et </td>.

Bon, je dois aller bouffer, je regarderais après.
Attention néanmoins:
Il faut impérativement:
my @months = qw{Decembre Janvier Fevrier Mars Avril Mai Juin Juillet Aout Septembre Octobre Novembre Decembre};
pour faire la correspondance valeur de $mois -> nom de mois (et le fait de démarrer à Décembre est pour que 1 corresponde a janvier).
 
La tu fais:
my @months = qw{Avril Mai Juin Juillet Aout Septembre};
ça peut pas marcher correctement car tu fais correspondre le mois 1 à Mai.
 
A+,

Bon, j'ai vu ta seconde erreur:
remplaces
print $html '<tr><td>'.$newhash{$month}.'</td><td>';
par
print $html '<tr><td>'.$months[$month].'</td><td>';
comme dans mon code
 
A+,

Pour l'opérateur //, j'ai trouvé l'info:
 

 
Très utile pour initialiser une variable si elle ne l'est pas encore:
$mylang //= "en":
par exemple.
 
A+,

Merci de la précision
 
Sinon, pour le problème principal, ça ne fonctionne toujours pas, même en mettant tous les mois comme tu as fait :\ je ne vois pas d'où vient l'erreur, puisque j'ai quasiment repris ce que tu as fait, j'ai juste changé pour mettre au format HTML. Et je n'ai aucune erreur !

Mais chez moi, ça marche, hein...
En adaptant ton code pour sortir sur stdout, j'ai:
 

#!/usr/bin/perl
 
# error-check flags
use strict;
use warnings;
# Use readable built-in names
use English qw( -no_match_vars );
use Data::Dumper;
 
my (%myhash, %hsites);
my ($date, $user, $site);
my (%newhash);
while (<> )
{
    chomp;
    s/\s*$//o;
    ($date, $user, $site) = split ',';
    ++$myhash{$date}{$user}{$site};
    ++$hsites{$site};
    ++$newhash{substr($date,3,2)}{$site};
}
 
 
my @sites = sort (keys %hsites); # pour avoir tous les sites au moment du listage
 
my @months = qw{Decembre Janvier Fevrier Mars Avril Mai Juin Juillet Aout Septembre Octobre Novembre Decembre};
 
foreach my $month (sort (keys %newhash))
{
    print '<tr><td>'.$months[$month].'</td><td>';
    foreach my $site (@sites)
    {
        print '<td>'.($newhash{$month}{$site}//0).'</td>';
    }
    print '</tr>', "\n";
}

 
Notes le   s/\s*$//o; après le chomp, important, si tu ne veux pas avoir des sites différents a cause d'espaces qui trainent en fin de ligne.
 
Tu n'as pas changé le format du fichier de données?
Dans mes tests, benji.txt est

 
 
A+,

Merci, voilà ce que j'ai comme erreurs :

La ligne 203 du script correspond à :

print $recap '<tr><td>'.$months[$month].'</td>;

Du coup, en résultat, dans la colonne "Mois", j'ai uniquement "Decembre" pour toutes les lignes ! Mais la fonction de comptage marche bien

clairement, la variable month récupérée comme clef de keys %newhash est incorrecte.
Il semble que  ($date, $user, $site) = split ','; ne t'envoie pas la date au format dd/mm/yyyy dans $date
Donc comme je le disais, tes données n'ont pas changé de format?
A+,

Oui, suis-je bête ^^ j'avais déjà converti les dates avec les mois. Remarque, je te l'avais dit dans un de mes messages, tu n'as pas dû faire gaffe (j'avais déjà des données de la forme Avril,utilisateura,SERVEUR1). J'essaie de tout remettre comme il faut, ça devrait aller sans pb, et je te tiens au jus !
 
EDIT : au poil, merci beaucoup pour ton aide

Tu serais pas parti de ton csv avec les noms de mois au début?
Parce que ca expliquerait le "il" comme substr($date,3,2) sur avril, le ll comme substr($date,3,2) sur juillet, etc.
Je pensais que tu avais vu que je changeais pas de fichier de log, puisque c'était inutile.
EDIT: nos posts se sont croisés.
C'est en général plus couteux (espace disque...) de générer un fichier de log que d'exploiter un même fichier de log avec des scripts perls adaptés au résultat recherché.
A+,

Yep, c'est bien ça j'ai pas un grand niveau, donc des opérations que tu effectues rapidement, je mets souvent plusieurs lignes de codes à les faire, pour pas grand chose au final ^^

C'est juste une question d'expérience.
Plus on fait de scripts perl, plus on s’aperçoit que c'est pratique à utiliser.
 
Bon, quand Perl6 sera un jour utilisable, ce sera encore plus puissant (mais il y a diverses habitudes d'écriture qui auront changé et auquel il faudra s'adapter).
 
A+,