Bonjour,

J'ai un fichier texte d'environ 40 millions de lignes pour 1 Go.
Je l'analyse avec R
C'est un fichier qui contient pour chaque ligne une suite de chiffres.
J'ai le codebook qui m'indique les espaces délimités (par exemple les 2 premiers chiffres correspondent à la variable 1, les 3 chiffres suivant à la variable 2)
Pour l'importer et l'utiliser j'ai donc besoin de le convertir en csv ou équivalent.

De ce que j'ai vu, le plus pratique pour ca c'est awk, mais je n'ai pas trouvé de syntaxe pour indiquer nominalement à quel endroit il faut introduire le séparateur dans le fichier ...
Si vous avez une astuce pour ces méthodes je suis preneur

Bon j'ai trouvé une procédure avec Stata, mais j'ai des soucis dans le dictionnaire, il reste des blancs dans le fichier texte qui décalent les colonnes qu'il faut que je supprime ...

Bonjour,
Si tu donnes un exemple de ligne en entrée et de ligne souhaitée en sortie, je t'écris le code Perl correspondant.
A+,

!
 

Tu veux dire quoi par "les espaces délimités" ? C'est le format de ton fichier, ou tes valeurs sont séparées par des espaces ?
Si tu le fais en shell, tu peux peut-être utiliser la syntaxe ${string:position:length} pour extraire une partie d'une chaîne de caractères.
 

 
Edit : Voici un petit exemple

quand je dis espace délimité, j'ai une suite de chiffres genre

45456465489879871213213548979843415321356

et j'ai un codebook a coté qui me dit

premier variable : 2 premières valeurs
deuxieme : 3 suivants
etc ..

J'ai trouvé une syntaxe d'importation qui fonctionne pour SPSS je pense que c'est bon merci !
j'ai effectivement trouvé des tutos pour le faire en python et en perl, il faudra que je m'y penche, d'habitude je le fais avec R mais là le fichier est trop gros pour être digéré !

ma syntaxe sps

Il y a une erreur a la dernière ligne: ce devrait être V138 272-272 F1.0. non?
 
A+,

Voici un truc en perl cablé sur ton format (avec un peu d'effort, on pourrait en faire un truc générique).
 

#!/usr/bin/perl
use strict;
use warnings;
use autodie;
 
### Recuperation du format
### Et vérification de la consistence
 
# Format après copier-coller
my $format = <<"ENDFORMAT";
   V1 0-1 F2.0
   V2 2-4 F3.0
   V3 5-14 F10.0
   V4 15-18 F4.0
   V5 19-32 F14.1
   V6 33-34 F2.0
   V7 35-38 F4.0
   V8 39-41 F3.0
   V9 42-42 F1.0
   V10 43-45 F3.0
   V11 46-48 F3.0
   V12 49-50 A2
   V13 51-53 A3
   V14 54-57 F4.0
   V15 58-61 F4.0
   V16 62-65 F4.0
   V17 66-69 F4.0
   V18 70-72 F3.0
   V19 73-74 F2.0
   V20 75-77 F3.0
   V21 78-80 F3.0
   V22 81-82 F2.0
   V23 83-85 F3.0
   V24 86-88 A3
   V25 89-90 A2
   V26 91-93 A3
   V27 94-94 F1.0
   V28 95-97 A3
   V29 98-99 A2
   V30 100-102 A3
   V31 103-105 A3
   V32 106-106 A1
   V33 107-107 F1.0
   V34 108-108 A1
   V35 109-111 A3
   V36 112-112 A1
   V37 113-113 A1
   V38 114-114 A1
   V39 115-115 A1
   V40 116-116 A1
   V41 117-118 A2
   V42 119-119 A1
   V43 120-120 A1
   V44 121-122 A2
   V45 123-124 A2
   V46 125-125 A1
   V47 126-127 A2
   V48 128-129 A2
   V49 130-131 A2
   V50 132-132 A1
   V51 133-135 A3
   V52 136-137 A2
   V53 138-140 A3
   V54 141-145 A5
   V55 146-146 A1
   V56 147-147 A1
   V57 148-148 A1
   V58 149-149 A1
   V59 150-150 F1.0
   V60 151-151 F1.0
   V61 152-152 F1.0
   V62 153-153 F1.0
   V63 154-154 F1.0
   V64 155-155 F1.0
   V65 156-158 F3.0
   V66 159-160 F2.0
   V67 161-162 A2
   V68 163-163 A1
   V69 164-164 A1
   V70 165-166 A2
   V71 167-167 A1
   V72 168-168 A1
   V73 169-169 A1
   V74 170-170 A1
   V75 171-171 A1
   V76 172-172 A1
   V77 173-173 A1
   V78 174-174 A1
   V79 175-175 A1
   V80 176-176 F1.0
   V81 177-178 A2
   V82 179-180 A2
   V83 181-182 A2
   V84 183-184 A2
   V85 185-185 A1
   V86 186-187 F2.0
   V87 188-189 F2.0
   V88 190-190 F1.0
   V89 191-191 F1.0
   V90 192-193 F2.0
   V91 194-195 F2.0
   V92 196-197 F2.0
   V93 198-199 F2.0
   V94 200-201 F2.0
   V95 202-203 F2.0
   V96 204-205 F2.0
   V97 206-207 F2.0
   V98 208-209 F2.0
   V99 210-211 F2.0
   V100 212-213 F2.0
   V101 214-215 F2.0
   V102 216-217 F2.0
   V103 218-219 F2.0
   V104 220-221 F2.0
   V105 222-223 F2.0
   V106 224-225 F2.0
   V107 226-227 F2.0
   V108 228-228 F1.0
   V109 229-230 A2
   V110 231-233 F3.0
   V111 234-234 A1
   V112 235-235 A1
   V113 236-236 A1
   V114 237-237 A1
   V115 238-238 A1
   V116 239-240 A2
   V117 241-243 F3.0
   V118 244-244 A1
   V119 245-245 A1
   V120 246-246 A1
   V121 247-247 A1
   V122 248-248 A1
   V123 249-250 A2
   V124 251-251 A1
   V125 252-252 A1
   V126 253-253 A1
   V127 254-254 A1
   V128 255-255 A1
   V129 256-256 A1
   V130 257-257 A1
   V131 258-259 A2
   V132 260-261 A2
   V133 262-263 A2
   V134 264-265 A2
   V135 266-267 A2
   V136 268-269 A2
   V137 270-271 A2
   V138 272-272 F1.0
ENDFORMAT
 
my %var;
foreach (split /\n/, $format) {
  if (/^\s*V(\d+)\s+(\d+)-(\d+)\s+A(\d+)\s*$/) {
    $var{$1}{type} = "A";
    $var{$1}{first} = $2;
    $var{$1}{last} = $3;
    $var{$1}{size} = $4;
    if ($3-$2+1 != $4) {
      die "Inconsistency in format size $_\n";
    }
  }
  elsif (/^\s*V(\d+)\s+(\d+)-(\d+)\s+F(\d+)\.(\d+)\s*$/) {
    $var{$1}{type} = "F";
    $var{$1}{first} = $2;
    $var{$1}{last} = $3;
    $var{$1}{size} = $4;
    $var{$1}{comma} = $5;
    if (($3-$2+1 != $4) || ($5 > $4)) {  # ou $5 >= $4 ??
      die "Inconsistency in format size $_\n";
    }
  }
  else {
    die "ligne format erronee $_!\n";
  }
}
 
# On vérifie qu'il y a pas de trous
my $current = 0;
foreach (sort { $a <=> $b } keys %var) {
  if ($current != $var{$_}{first}) {
    die "Gap in data at var $_\n";
  }
  $current = $var{$_}{last} + 1;
}
 
### creation du parametre associé pour la fonction unpack
my $packformat = "";
foreach (sort { $a <=> $b } keys %var) {
  $packformat .= "A$var{$_}{size}";
}
 
### préliminaires terminés
### lecture ligne a ligne du fichier source
### une ligne est découpée selon le format $packformat, 
### les morceaux sont joints avec un ; entre chaque morceau
### et le résultat est écrit en sortie
open my $infile, "<", "infilename";
open my $outfile, ">", "outfilename";
while (<$infile> ) {
  chop;
  if ( $current > length($_)) {
    print "line too short in data source, end of file skipped\n";
    last;
  }
  print $outfile join(';', unpack($packformat, $_)), "\n";
}
close $outfile;
close $infile;

 
il reste le cas de ta 5e variable, la seule F a ne pas être en .0
  V5 19-32 F14.1
Faut il réintégrer le point décimal? et si oui, F14.1, c'est 1 chiffre avant et 13 après?
Si oui,  en remplaçant à la fin
  print $outfile join(';', unpack($packformat, $_)), "\n";
par
  my $line = join(';', unpack($packformat, $_));
  print $outfile substr($line, 0, 24), ".", substr($line, 24), "\n";
ça devrait baigner.
 
Bon par contre si les F en .0 doivent être écrits avec un 0. ou un . devant, c'est faisable, mais juste un poil plus compliqué (et un peu plus lent aussi, car il faudra faire une boucle sur keys %var pour chaque ligne lue).
 
A+,

Merci beaucoup Gilou, effectivement il y avait une coquille dans la derniere ligne !
revanche le f14.1 reste, c'est la nomenclature du recensement espagnol ;-)
f14.1 je ne sais pas pourquoi SPSS le code comme ca, mais c'est 3 chiffres, puis une décimale et 11 autres.
les F.0 sont des entiers en fait ;-) mais par défaut j'ai demandé à spss de prendre des flottants pour pas avoir a gérer de cas particuliers

> f14.1 je ne sais pas pourquoi SPSS le code comme ca, mais c'est 3 chiffres, puis une décimale et 11 autres.  
Dans ce cas la, c'est  
my $line = join(';', unpack($packformat, $_));  
print $outfile substr($line, 0, 26), ".", substr($line, 26), "\n";  
si tu veux faire apparaitre le point entre les 3 premiers chiffres et les 11 autres.
ou mon code initial
print $outfile join(';', unpack($packformat, $_)), "\n";
si pas de point et juste la suite des 14 chiffres figurant entre les positions 19 et 32
 
A+,

Euh non.
J'ai la doc SPSS 12.0 Command Syntax Reference sous les yeux.
Pour du Fixed-Format Data, ce qui est ton cas, il est dit:

Donc s'il n'y a pas de point dans tes datas mais uniquement des chiffres, f14.1,c'est un champ de 14 chiffres, et ça correspond a 13 chiffres avant la décimale et un après.
C'est d'ailleurs cohérent avec la notation Fn.0 tous les n chiffres sont avant la décimale (car il y en a 0 après), on adonc un entier.
3 chiffres, puis une décimale et 11 autres, c'est F14.11 selon cette doc.
 
A+,

Effectivement c'est étrange, je vais vérifier dans le fichier de données pour voir le résultat

Assez étrangement, les variables F sont en fait des entiers, sauf la V5
la V5 a bien une décimale, mais c'est 1 avant et 13 après le séprateur. Donc il y a  bien un soucis quelque part, il faut que je clean le dico en regardant la doc du fichier

Donc quelqu'un a pensé que ça correspondait à F14.1 alors que cela correspond a F14.13
A+,