Bonjour à tous.
 
J'ai créé un petit programme dont le but est d'effectuer un traitement sur des fichiers.
Le fonctionnement est donc le suivant :
1 - Ouverture du fichier source
2 - Ouverture du fichier cible
3 - Lecture de x bits du fichier source et mise en mémoire
4 - Traitement de ces bits
5 - Ecriture dans le fichiers cible
6 - Si ce n'est pas la fin du fichier on revient au numéro 3
7 - Fermeture des fichiers
 
Avec ce fonctionnement on peut donc traiter de gros fichiers (mon objectif est dans les 600Mo) sans réserver trop de mémoire.
 
La question que je me pose, c'est :
De quelle manière doit on déterminer le nombre x de bits qu'on lit dans le fichier à chaque itération?
Autrement dit, comment déterminer la taille de l'espace réservé en mémoire par mon buffer?
 
En vous remerciant!

tu le laisse configurable, tu fait des essais de valeurs (genre toute les puissances de 2) et tu prends la plus rapide

Pour suivre, sinon moi je dirais un multiple de la taille d'un secteur sur le disque.

Bon je me demandais s'il n'y avait pas une logique quelque part permettant de calculer ça mais visiblement la réponse est non.

Je vais faire des tests, et trouver une taille dans la limite du raisonable et offrant de bonnes perf.

Voilà qui est intéressant! Et tout à fait logique.
Merci pour l'idée, je n'y aurais pas pensé tout seul.
 
Je vais faire le calcule à partir de cette donnée je pense. C'est à dire trouver le plus grand multiple de la taille des secteurs inférieur ou égale à la limite que j'aurais définie.
 
Qu'en dites-vous?

Que rien ne vaut l'expérimentation pour être sûr.

Et à la limite une fois le choix établi, tu le fixe et s'il est gros tu ajoute une option -lowmem avec un buffer nettement plus petit pour les gens qui ont peu de ram.

Bon ba, c'est parti pour une série de test sur différentes machines!
Je vais aussi mettre un buffer de petite taille pour les gens qui on peu de ram, comme tu me le conseils.

Merci pour vos idées.