PHP

Migration d'une base de donnée (execution trop longue)

Recherche :

Mot : Pseudo : Filtrer
Bas de page
Auteur	Sujet : Migration d'une base de donnée (execution trop longue)

cvex

$CveX

Bonsoir,

Je travaille actuellement sur une migration de base de données de type "uzine à gaz".
Migration de 74 tables vers une nouvelle base de données.
Le problème réside sur le fait qu'il y a une quantité assez importante à migrer et le script que je suis en train de concevoir ne peut pas supporter toute la charge que je lui est donné.
A titre d'exemple, une table qui contient 1800 enregistrement met environ 70 secondes à s'executer. Et les 73 autres tables contiennent plus ou moins la même quantité d'information.

PS : J'utilise 2 fichiers (un fichier php pour appeller chaques fonctions et afficher leur "etat" et un fichier pour les différentes fonctions. Chacune d'elle représente une table à migrer).

J'ai essayer par mal de chose :
- un "set_time_limit(300);"
- un "set_time_limit(300);" dans une boucle
...

Lors de l'execution de mon script, je suis obliger de limiter le nombre de table à migrer mais même cela, le navigateur ne recoit pas la page html pour dire que la migration s'est bien déroulé ou pas.
Je ne peux pas non plus faire table par table cela va à l'encontre de l'automatisation...

Que me conseillez-vous pour optimiser le code ?
Connaissez-vous des scripts qui ressemble plus ou moins à ce que je veux faire ?
Flush() est-il utile pour mon cas ?
Comment faire pour que le serveur m'envoie régulièrement "un état d'avancement" ?

Merci pour votre aide si bien sur vous souhaitez m'aider

Message édité par cvex le 11-01-2007 à 17:29:59

Publicité

omega2

Tes tables elles font quel poid? moi je trouve ça trés long 70s pour 1800 enregistrements s'ils ne sont pas énorme.
Pour le fait que le navigateur ne recoit pas la page, c'est normal : un navigateur n'attend une page que pendant un temps déterminé avant de considéré que le serveur est innaccéssible. A ma conaissance aucun navigateur récent n'attendra pendant 5 minutes d'affilé sans rien recevoir.
Le Flush poura servir à envoyer un etat d'avancement au navigateur. Celà dit, le navigateur attendra d'avoir reçu sufisament de texte (dans la limite d'un temps donnée) avant de t'afficher l'avancement.

Si ton systéme est vraiment trop trop long, alors tu devras faire table par table, mais tu n'es pas obligé de demander au client de cliquer à chaque fois dans son navigateur pour lancer l'exportation suivante : un navigateur est capable d'appeller une autre page quand le serveur lui dit d'aller voir ailleur. Utilise donc les redirections pour que le navigateur appelle succéssivement les pages servant à exporter toutes les tables.

Une autre solution mais qui ne marche que si tu as accés au serveur consiste à lancer des programmes de gestion de base de donnée tels que ceux fournis avec mysql et de leurs faire faire l'exportation comme il faut : ca ira surement plus vite qu'une page php contenant des boucles et tu n'auras plus de probléme de timeout. Sinon, essaye de voir si ton hébergeur ne propose pas ce genre de service : ca sert à rien de se prendre la tête si c'est déjà en place.

rufo

Pas me confondre avec Lycos!

moi, je trouve ça aussi très long. Pour une table de 11000 enregistrements, ça me prend 10s environ sous mysql 3

anapajari

s/travail/glanding on hfr/gs;

+1 pour le très (trop) long!!!
tu pourrais montrer de script? Surtout les requetes d'alimentation en fait...

cvex

$CveX

Oui c'est bien ce que je pensais (lol).
Heuresement que j'ai pas précisé que c'était en local ! (Pour l'instant, juste le temps du développement).

omega2 > "Si ton systéme est vraiment trop trop long, alors tu devras faire table par table, mais tu n'es pas obligé de demander au client de cliquer à chaque fois dans son navigateur pour lancer l'exportation suivante : un navigateur est capable d'appeller une autre page quand le serveur lui dit d'aller voir ailleur. Utilise donc les redirections pour que le navigateur appelle succéssivement les pages servant à exporter toutes les tables."
=> Oui, c'est ce que j'ai finalement fait mais encore ce problème de temps d'execution beaucoup trop long pour les tables qui on plus de 10 000 enregistrements.

Voici un exemple de ce que j'utilise pour réaliser l'exportation entre 2 bases MySQL :

transfere_db.php

Code :

<?php
include("maj_tables.php" );
if(empty($_POST['etape']))
{
$_POST['etape'] = 1;
//Vidage des tables
vidage_table();
}
$execution_tot = 0;
?>
<html>
...
...
...
<table align="center">
<?php
switch($_POST['etape'])
{
case 1 :
//Table "absencespersonnel"
$tab_abspersonnel = table_absencespersonnel();
if($tab_abspersonnel[1] == "ok" )
{
echo "<tr><td>".$tab_abspersonnel[0]." -> Temps d'execution : <b>".$tab_abspersonnel[2]."</b> seconde(s).</td>";
echo "<td align='center'>[ <a class='ok'>OK</a> ]</td></tr>";
}
else
{
echo "<tr><td>Une erreur est survenue sur la ".$tab_abspersonnel[0]."</td>";
echo "<td rowspan=2 align='center'>[ <a class='echec'>Echec</a> ]</td></tr>";
echo "<tr><td class='contour_erreur'><i><u>Détail de l'erreur :</u></i><p>".$tab_abspersonnel[3]."</p></td>";
echo "<td></td></tr></table>";
exit();
}
echo "<form action='' method='post'>
<input type='hidden' name='etape' value='2'>
<input type='hidden' name='tmp_exec' value='".$execution_tot = $execution_tot + $tab_abspersonnel[2]."'>
<input type='submit' name='etape_suiv' value='Etape 2 >'>
</form>";
break;
case 2 :
...
...
...
break;
case 80 :
...
...
...
break;
}
?>
...
...
...
</html>

maj_tables.php

Code :

function table_absencespersonnel()
{
set_time_limit(300);
//Démarrage du chrono
$temps = microtime();
$temps = explode(' ', $temps);
$debut = $temps[1] + $temps[0];
//Déclaration des variables de connexion
$base1 = array();
$base2 = array();
$base1 = connexion_db1();
$base2 = connexion_db2();
//Connexion à l'ancienne base de données
$linkdb1 = mysql_connect($base1['serv'], $base1['nomutil'], $base1['mdp']);
if(!$linkdb1) { $erreur = "<b>Impossible de se connecter à l'ancienne base de donnée.</b>"; }
if(!mysql_select_db($base1['nombase'], $linkdb1)) { $erreur = "<b>Impossible de selectionner l'ancienne base de donnée.</b>"; }
$sql_absence_personnel = mysql_query("SELECT idAbsence, numeroMatricule, dateDebutPersonnel, dateFinPersonnel, nombreJour, nombreHeure, observation, motif, idAction FROM absence_personnel", $linkdb1);
if(!$sql_absence_personnel) { $erreur = "<b>Erreur de lecture de la table \"absence_personnel\".</b><br />".$sql_absence_personnel."<br />".mysql_error(); }
//Connexion à la nouvelle base de données
$linkdb2 = mysql_connect($base2['serv'], $base2['nomutil'], $base2['mdp']);
if(!$linkdb2) { $erreur = "<b>Impossible de se connecter à la nouvelle base de donnée.</b>"; }
if(!mysql_select_db($base2['nombase'], $linkdb2)) { $erreur = "<b>Impossible de selectionner la nouvelle base de donnée.</b>"; }
//Migration des données dans la nouvelle table
while($absence_personnel = mysql_fetch_row($sql_absence_personnel))
{
$sql = "INSERT INTO absencespersonnel (IdAbsencesPersonnel, IdPersonnel, DateDebutAbsence, DateFinAbsence, NombreJoursAbsence, NombreHeuresAbsence, Motif, Observations, IdAction) VALUES ('".$absence_personnel[0]."', '".$absence_personnel[1]."', '".$absence_personnel[2]."', '".$absence_personnel[3]."', '".$absence_personnel[4]."', '".$absence_personnel[5]."', '".addslashes($absence_personnel[7])."', '".addslashes($absence_personnel[6])."', '')";
if(!mysql_query($sql, $linkdb2)) { $erreur = "<b>Erreur intégration de la donnée dans la table \"absencespersonnel\".</b><br />".$sql."<br />".mysql_error(); }
}
mysql_close($linkdb1);
mysql_close($linkdb2);
//Fin du chrono
$temps = microtime();
$temps = explode(' ', $temps);
$fin = $temps[1] + $temps[0];
$temps_exec = round(($fin - $debut),2);
//Valeur à retourner
if(empty($erreur))
{
return(array("Table \"<b>absencespersonnel\"</b>", "ok", $temps_exec));
}
else
{
return(array("Table \"<b>absencespersonnel\"</b>", "echec", $temps_exec, $erreur));
}
}
function...
...
...
...

PS : Pour un soucis de clareté, je n'est pas inclus les autres fonctions et j'ai présenté la migration d'une seule table. ^^

Message édité par cvex le 12-01-2007 à 14:42:23

---------------
http://forum.hardware.fr/hardwaref [...] 1293-1.htm

sircam

I Like Trains

Plus fondamentalement : est-ce bien raisonable de faire ce genre de migration avec PHP server-side? [:pingouino]

C'est pour un hébergement mutualisé?

cvex

$CveX

non Intranet.
Je me suis posé la même question, mais on m'a imposé le langage :s
Je suis actuellement en train de voir pour migrer les plus grosses bases de données à l'aide de C#.

Donc d'après vous, il n'est pas possible de réaliser la migration avec PHP pour ce cas la ?

omega2

D'accord,

Code :

while($absence_personnel = mysql_fetch_row($sql_absence_personnel)){
$sql = "INSERT INTO absencespersonnel (IdAbsencesPersonnel, IdPersonnel, DateDebutAbsence, DateFinAbsence, NombreJoursAbsence, NombreHeuresAbsence, Motif, Observations, IdAction) VALUES ('".$absence_personnel[0]."', '".$absence_personnel[1]."', '".$absence_personnel[2]."', '".$absence_personnel[3]."', '".$absence_personnel[4]."', '".$absence_personnel[5]."', '".addslashes($absence_personnel[7])."', '".addslashes($absence_personnel[6])."', '')";
if(!mysql_query($sql, $linkdb2)) { $erreur = "<b>Erreur intégration de la donnée dans la table \"absencespersonnel\".</b><br />".$sql."<br />".mysql_error(); }
}

pas besoin de chercher plus loin, une requette par ligne à insérer avec mysql, c'est normal que ca rame. Fait plustôt des requettes d'insertion correspondant à un lot de 10, 20 ou 50 lignes à insérer. Tu véras que ca ira beaucoup plus vite.

EDIT : PS : Fait attention aux hébergeurs, de nombreux hébergeurs bloquent les accés distant à la base SQL ce qui empécherait ton script de bosser comme il faut.

Message cité 1 fois
Message édité par omega2 le 12-01-2007 à 15:05:40

anapajari

s/travail/glanding on hfr/gs;

omega2 a écrit :

+1 sur la cause mais pas d'accord sur la solution qui n'est pas beaucoup mieux.

Mysql te propose un truc assez pratique c'est SELECT ... INTO FILE et LOAD DATA FILE. Du coup pour dumper ta table tu fais:

Code :

$query = "SELECT * INTO OUTFILE '".$tblName.".bck' FROM ".$tblName;
$result = mysql_query($query);

et pour la upper

Code :

$query = "LOAD DATA INFILE '".$tblName.".bck' INTO TABLE ".$tblName";
$result = mysql_query($query);

Message édité par anapajari le 12-01-2007 à 15:11:36

omega2

anapajari > Pour ça, il faut que le serveur mysql soit sur la même machine que le serveur php ce qui est rarement le cas en dehors des hébergements dédiés.
Certe en local ca marcherait mais une fois en production, il y a peu de chance qu'il puisse utiliser cette méthode.

Cette méthode à en plus un défaut méconu avec mysql : mysql remplis la table sans mettre à jour les index puis exécute les fonctions de réparation de table pour que les index soient à jour. Pour de trés grosses tables, (plusieurs disaines ou centaines de millions de lignes par exemple) ca peut se réveller plus lent que des insertions classiques. Je sais, on est trés loin de ce volume de données dans le cas présent.

Message cité 1 fois

Publicité

anapajari

s/travail/glanding on hfr/gs;

omega2 a écrit :

Euh non [:roane]
tu fais

un script de dump + sauvegarde des fichiers sur le serveur 1
un script d'upload fichier + load data sur le serveur 2

omega2 a écrit :

Cette méthode à en plus un défaut méconu avec mysql : mysql remplis la table sans mettre à jour les index puis exécute les fonctions de réparation de table pour que les index soient à jour. Pour de trés grosses tables, (plusieurs disaines ou centaines de millions de lignes par exemple) ca peut se réveller plus lent que des insertions classiques. Je sais, on est trés loin de ce volume de données dans le cas présent.

not quite true.
La "non mise à jour" des index n'est effectué que si l'opération a lieu dans une table vide, d'ailleurs dans la doc te donne la procédure pour toujours émuler ce comportement à toi de choisir ou non quel cas te convient le mieux.
Mais juste pour quoter cette page:

Citation :

When loading a table from a text file, use LOAD DATA INFILE. This is usually 20 times faster than using INSERT statements. See Section 13.2.5, %u201CLOAD DATA INFILE Syntax%u201D.

Et pour moi, dans ce cas précis on est exactement dans le "usually" ( comme tu l'indique également dans ton message )

Message édité par anapajari le 12-01-2007 à 15:36:52

cvex

$CveX

Merci beaucoup pour vos réponses, elle me sont précieuses !
Je vais tester toutes les solutions afin de trouver celle qui correspond au besoin de mon cas.

FORUM HardWare.fr

Programmation

PHP

Migration d'une base de donnée (execution trop longue)

Sujets relatifs
conception base de donnees +erreur (errno: 121)	Rester connecté à ma base via du PHP
Connection base de données	importer donnée CSV dans base sql
[RESOLU]Problème d'execution : NoClassDefFoundError :(	Convertir un .mdf vers base Oracle 10g
Erreur d'exécution '6' : dépassement de capacité	Base de données facile a configurer
probleme d'execution sous IE
Plus de sujets relatifs à : Migration d'une base de donnée (execution trop longue)

Page générée en 0.106 secondes