Forum |  HardWare.fr | News | Articles | PC | S'identifier | S'inscrire | Shop Recherche
2945 connectés 

  FORUM HardWare.fr
  Programmation
  SQL/NoSQL

  Stockage de données relationnelles volumineuses ?

 


 Mot :   Pseudo :  
 
Bas de page
Auteur Sujet :

Stockage de données relationnelles volumineuses ?

n°1345776
Rasthor
Posté le 13-04-2006 à 10:15:47  profilanswer
 

Bonjour à tous,
 
J'ai un petit problème en python. (mais le langage importe peu au final)
 
J'ai un énorme fichier (450Mo, 350'000 entrées) que je lis à chaque lancement de mon programme pour en extraire les informations. (genre ID->Age, ID->ID2, ID2->ID, ID->Taille, etc....). Il y a d'autres fichiers de taille moinde, mais pas négligeable (genre 90'000 entrées).
Je lis mon fichier et j'en extrais les informations utiles. Ces informations sont placés dans des Dictionnaires. (= hashtable, table de hashage en d'autres langages)
Ensuite j'utilise ces informations avec un autre fichier.
 
Y'aurait-il un moyen simple et élégant pour ne pas devoir lire à chaque fois cet énorme fichier et gagner du temps de calculs ?
 
J'ai pensé à une base de donnée comme MySQL, mais ça prendrait du temps pour la lire je pense (j'ai quand même 350'000 entrées).
Sinon j'ai entendu parler de DBM et GDBM, pour stocker des dictionnaires en dur. Quelqu'un utilise ça ?
 
Un avis ?


Message édité par Rasthor le 13-04-2006 à 10:41:35
mood
Publicité
Posté le 13-04-2006 à 10:15:47  profilanswer
 

n°1345780
Rasthor
Posté le 13-04-2006 à 10:23:44  profilanswer
 

Y'a pySQlite également.  
http://linuxfr.org/2004/06/19/16605.html

n°1346154
WhyMe
HFR ? Nan, connais pas ...
Posté le 13-04-2006 à 15:26:40  profilanswer
 

En gros tu fais une mise en cache au démarrage !
Peux tu envisager un chargement à la demande ?

n°1346161
Rasthor
Posté le 13-04-2006 à 15:31:12  profilanswer
 

Le problème, c'est que j'ai besoin de ces infos. Donc ne pas les charger ne sert à rien.


Aller à :
Ajouter une réponse
  FORUM HardWare.fr
  Programmation
  SQL/NoSQL

  Stockage de données relationnelles volumineuses ?

 

Sujets relatifs
Faciliter le changement de ma structure de donnéesFaire une recherche dans une base de données sql server
[ résolu ] Mise en page texte & base de donnéesModifier les données d'un fichier.
[SGBD] Base de données "embarquée" avec fonctions de recherche texteVbs et connexion a une base de données mysql
cocher automatiquement 1 checkbox en fonction des données d'1 listboxbase de données/ taille
[port serie] reception de donnees a partir d'un fichier ?Compréhension Utilisation de la base de données SQl server en réseau
Plus de sujets relatifs à : Stockage de données relationnelles volumineuses ?


Copyright © 1997-2022 Hardware.fr SARL (Signaler un contenu illicite / Données personnelles) / Groupe LDLC / Shop HFR