[NODEJS] annuler 2meme requete sur un get

Recherche :

Mot : Pseudo : Filtrer
Bas de page
Auteur	Sujet : [NODEJS] annuler 2meme requete sur un get

tompouss

Petit chat

Bonsoir,

débutant nodejs, je découvre les joies de l'asychrone et des callbacks. Pour le moment je suis confronté à un "probleme" génant après un GET http sur une API Json qui envoie 2 resultat identiques.
Au début j'ai cru à un bug, mais après investigations, ils s'avère donc qu'il sagit d'un comportement normal, puisque le resultat de la première requete contient le favicon et le données et la l2eme, les mêmes données.

J'ai pas mal cherché sur le net avant de poster ici, mais je n'ai pas trouvé de solution satisfaisante (notez que c'est peut-etre moi qui ne parvient pas à l'implémenter correctement :whistle: ).

Il ya donc next qui est censée passée directement à la 2eme requete, mais malheuresusement ca ne fonctionne pas.

Code :

var url = "https://superwebservice";
rest.get(url)
//request success
.on("200", function (request, next)
{
if (request.url === '/favicon.ico') {
res.writeHead(200, { 'Content-Type': 'image/x-icon' });
res.end(/* icon content here */);
}else{
next;
}
console.log(request[0]);
});

Vous auriez des idées, pour éviter que je reçoive 2 x les mêmes données ?
Peut-on configurer cela sur le server de l'API tant qu'à faire ?

Merci pour vos réponses

Tom

Publicité

h3bus

Troll Inside

Tu peux modifier ton service?

http://stackoverflow.com/questions [...] avicon-ico

Message cité 1 fois

---------------
sheep++

tompouss

Petit chat

h3bus a écrit :

Tu peux modifier ton service?

http://stackoverflow.com/questions [...] avicon-ico

A priori oui.

Ce qui m'étonne c'est que le phénomène ne se produit qu'avec Nodejs:
la même requete faite avec firefox me donne bien les données non dupliquées. (j'ai vérifié avec l'outil de debuggage).

Message édité par tompouss le 03-04-2017 à 14:44:11

---------------
collectionneur de pâtes thermiques

torwood3

Bonjour,

Je suis intrigué par le soucis. Il n'y a pas de raison que cela n'arrive qu'avec Nodejs.
Peux-tu expliquer d'où vient la variable rest ?
As-tu ajouté un header particulier ?

Et pourquoi ne pas faire comme la doc le propose:

Code :

rest.get(url).on('data', callback);

au lieu de

Code :

rest.get(url).on('200', callback);

https://nodejs.org/en/docs/guides/a [...] ansaction/

Tor

Message cité 1 fois
Message édité par torwood3 le 04-04-2017 à 13:02:40

---------------
"La valeur d'un homme tient dans sa capacité à donner et non dans sa capacité à recevoir." Albert Einstein / "Dans la nature, tout a toujours une raison. Si tu comprends cette raison, tu n'as plus besoin de l'expérience." Léonard De Vinci

tompouss

Petit chat

torwood3 a écrit :

la variable rest est l'object quicontient des methodes du module restler

https://github.com/danwrong/restler

en fait j'ai essayé avec le module request mais le problème est le même

Message édité par tompouss le 04-04-2017 à 16:35:29

---------------
collectionneur de pâtes thermiques

torwood3

Bonjour,

Je resigne, ton soucis est vraiment étrange.
Le double appel fais pour récupérer le Favicon est un comportement normal pour les navigateurs. Les modules "request", "http", "restler" et compagnie n'ont aucun raison de l'implémenter car ce n'est pas leur objectif.

En relisant ton code, trois remarques :
- La promise de reslter te retourne qu'une seule variable (data)
- Next est dans ton code une callback (une function), il lui faut donc des parenthèses pour se lancer. (mais elle a pas sa place)
~~- Je n'ai pas vu que "restler" avait implémenté l'évènement "200". J'ai vu que des "complete".~~ J'ai lu ! :pt1cable:

J'ai l'impression qu'il y a eu une petite confusion sur le type de retour que te propose "reslter". Les deux arguments sont "data", c'est à dire le body de la réponse et "response" qui j'imagine est la requête réponse en entier (header, statusCode and co ...). Il n'y a donc pas de next.

next lorsque tu traites les requêtes reçu par nodejs. Dans ce cas tu as trois argument possible : req, res et next
Mais ici c'est toi qui initie la requête.

Si ton soucis n'est toujours pas réglé, peux-tu tester ce code et me dire l'affichage correspondant dans la console. Merci bien

Code :

var url = "https://superwebservice";
var i = 0;
rest.get(url).on("complete", function (data, response) {
console.log("--------------------------------" );
console.log("ID Req : " + i);
console.log(data);
console.log(response);
});

Edit : Mise en forme

Message édité par torwood3 le 05-04-2017 à 09:33:23

tompouss

Petit chat

ESSAI 1

script_modifié:

Code :

const rest = require("restler";);
const converter = require("./monserviceweb-converter";);
const utils = require("../utils";);
const mongoose = require("mongoose";);
exports.id = "monserviceweb";
exports.name = "monserviceweb";
exports.region = ["uy", "ar"];
exports.idPrefix = "monserviceweb_";
const regionMap = ["ar", "uy"];
exports.createService = function () {
var service = {
getDataFromAllCountries: function () {
/*offset = offset ? offset : 0;
limit = limit ? limit : 500;*/
var url = "https://monserviceweb.com";
rest.get(url)
//request success
.on('complete', function (data) {
console.log(data);
})
}()
}
}();

OUTPUT :

Code :

Info: Start process (9:59:29 AM)
[ { countryId: 1,
name: 'Uruguay',
iso2: 'UY',
iso3: 'URY',
phoneCode: '+598',
{ countryId: 2,
name: 'Argentina',
iso2: 'AR',
iso3: 'ARG',
phoneCode: '+54',
[ { countryId: 1,
name: 'Uruguay',
iso2: 'UY',
iso3: 'URY',
phoneCode: '+598',
{ countryId: 2,
name: 'Argentina',
iso2: 'AR',
iso3: 'ARG',
phoneCode: '+54',
Info: End process (9:59:30 AM)

----------------------------------------------------------------
autre script

Code :

const rest = require("restler";);
const converter = require("./monserviceweb-converter";);
const utils = require("../utils";);
const mongoose = require("mongoose";);
exports.id = "monserviceweb";
exports.name = "monserviceweb";
exports.region = ["uy", "ar"];
exports.idPrefix = "monserviceweb_";
const regionMap = ["ar", "uy"];
exports.createService = function () {
var service = {
getDataFromAllCountries: function () {
/*offset = offset ? offset : 0;
limit = limit ? limit : 500;*/
var url = "https://monserviceweb.com";
var i = 0;
rest.get(url).on("200", function (result) {
console.log("--------------------------------";);
console.log("ID Req : " + i);
console.log(result);
});
}()
}
}();

OUTPUT

Code :

Info: Start process (9:56:07 AM)
[ { countryId: 1,
name: 'Uruguay',
iso2: 'UY',
iso3: 'URY',
phoneCode: '+598',
{ countryId: 2,
name: 'Argentina',
iso2: 'AR',
iso3: 'ARG',
phoneCode: '+54',
--------------------------------
ID Req : 0
[ { countryId: 1,
name: 'Uruguay',
iso2: 'UY',
iso3: 'URY',
phoneCode: '+598',
{ countryId: 2,
name: 'Argentina',
iso2: 'AR',
iso3: 'ARG',
phoneCode: '+54',
Info: End process (9:56:09 AM)

Essai 2

Code :

const rest = require("restler";);
const converter = require("./monserviceweb-converter";);
const utils = require("../utils";);
const mongoose = require("mongoose";);
exports.id = "monserviceweb";
exports.name = "monserviceweb";
exports.region = ["uy", "ar"];
exports.idPrefix = "monserviceweb_";
const regionMap = ["ar", "uy"];
exports.createService = function () {
var service = {
getDataFromAllCountries: function () {
/*offset = offset ? offset : 0;
limit = limit ? limit : 500;*/
var url = "https://monserviceweb.com";
var i = 0;
rest.get(url).on("complete", function (result) {
console.log("--------------------------------";);
console.log("ID Req : " + i);
console.log(result);
});
}
}
}();

Resultat

Code :

Info: Start process (10:02:46 AM)
[ { countryId: 1,
name: 'Uruguay',
iso2: 'UY',
iso3: 'URY',
phoneCode: '+598',
{ countryId: 2,
name: 'Argentina',
iso2: 'AR',
iso3: 'ARG',
phoneCode: '+54',
Info: End process (10:02:48 AM)

ESSAI 3

Code :

const rest = require("restler";);
const converter = require("./monserviceweb-converter";);
const utils = require("../utils";);
const mongoose = require("mongoose";);
exports.id = "monserviceweb";
exports.name = "monserviceweb";
exports.region = ["uy", "ar"];
exports.idPrefix = "monserviceweb_";
const regionMap = ["ar", "uy"];
exports.createService = function () {
var service = {
getDataFromAllCountries: function () {
/*offset = offset ? offset : 0;
limit = limit ? limit : 500;*/
var url = "https://monserviceweb.com";
var i = 0;
rest.get(url).on("test", function (result) {
console.log("--------------------------------";);
console.log("ID Req : " + i);
console.log(result);
});
}()
}
}();

Resultat

Code :

Info: Start process (10:03:56 AM)
[ { countryId: 1,
name: 'Uruguay',
iso2: 'UY',
iso3: 'URY',
phoneCode: '+598',
{ countryId: 2,
name: 'Argentina',
iso2: 'AR',
iso3: 'ARG',
phoneCode: '+54'
Info: End process (10:03:59 AM)

ESSAi 4

Code :

const rest = require("restler";);
const converter = require("./monserviceweb-converter";);
const utils = require("../utils";);
const mongoose = require("mongoose";);
exports.id = "monserviceweb";
exports.name = "monserviceweb";
exports.region = ["uy", "ar"];
exports.idPrefix = "monserviceweb_";
const regionMap = ["ar", "uy"];
exports.createService = function () {
var service = {
getDataFromAllCountries: function () {
/*offset = offset ? offset : 0;
limit = limit ? limit : 500;*/
var url = "https://monserviceweb.com";
rest.get(url)
//request success
.on('test', function (data) {
console.log(data);
})
}()
}
}();

Resultat

Code :

Info: Start process (10:05:53 AM)
Info: End process (10:05:55 AM)

Conclusion:

ne serais-ce pas les () à la fin de getDataFromAllCountries qui provoquerait ces doublons de données ?
Mais si je les enlève, rien ne s'affiche

Code :

getDataFromAllCountries: function () {
}()

en javascript, je suppose que le ";" est comparable au die() en PHP: on force la fin du script

Message édité par tompouss le 05-04-2017 à 10:27:42

---------------
collectionneur de pâtes thermiques

torwood3

Salut,

Merci pour les essais.
Le ";" indique la fin d'une instruction. Il est nécessaire lorsqu'il y a plusieurs instruction dans la même ligne mais optionnel sinon.
Toute fois, je t'incite à le mettre
Ca n'a rien a voir avec le die() de php.

On voit clairement que javascript est un langage super tolérant :
Enlève les ";" de tes parenthèse

Code :

const mongoose = require("mongoose";);

devient

Code :

const mongoose = require("mongoose" );

Quand tu mets un () après un function() {}, tu demandes au code d’exécuter cette fonction à l’instanciation du code. C'est à dire dès que le code est lu par la machine.

Je comprends pas trop le besoin d'exporter toutes ces variables.

Code :

var app = function () {
var i = 0;
var service = {
getDataFromAllCountries: function () {
/*offset = offset ? offset : 0;
limit = limit ? limit : 500;*/
var url = "https://monserviceweb.com";
rest
.get(url)
.on('test', function (data) {
console.log(i);
i++; //Petit oubli de la derniere fois :)
console.log(data);
})
}
}
return service;
};
var myApp = app();
myApp.getDataFromAllCountries();

Je remarque que le console.log("---------" ); n'est pas toujours affiché même lorsqu'il est présent dans la callback (essai1). Etrange :pfff:
Tor

Message édité par torwood3 le 05-04-2017 à 11:11:36

tompouss

Petit chat

[table][tr][td]
[/td][/tr][/table]C'est bien ce qui m'agace avec javascript: son côté ultra permissif, à ajouter à l'ambiguité de certaines fonctions.
Moi qui aime que les choses soient claires, carrées (et la logique de la POO), à ce niveau, javascript est encore pire que PHP :cry: .

En fait j'ai été chargé d'implémenter une fonctionnalité d'importation de données dans une application Nodejs existante et développée par des personnes expérimentées (bien plus que moi), mais qui, pour le moment, sont occupées sur un autre projet.
Cette application est très structurée et contient de nombreux fichiers pour bien séparer le rôle des scripts.
En gros l'application comprend des taches pour charger des données venant de webservices (FTP, Json, etc..), les normaliser et les insérer en base de données (NosSQL) via un ORM (mongoose).

C'est pour ca qu'il ya énormément d'exports.

Message édité par tompouss le 05-04-2017 à 11:31:55

---------------
collectionneur de pâtes thermiques

h3bus

Troll Inside

Ouai javascript c'est une vrai saloperie si le code n'est pas bien structuré.

Et pour moi qui vient du C puis POO (java, python), certains concepts sont vraiment obscurs.
Par exemple

Code :

var self = this

Eurk [:cerveau pouah]

---------------
sheep++

Publicité

tompouss

Petit chat

Merci pour vos explications

maintenant j'ai un autre probleme, qui est d'accéder aux données de ce script:

via un autre script (situé dans un répertoire test)

Code :

const async = require("async";);
const db = require("../db/db";);
const utils = require("../utils";);
const monwebservice = require("../provider/monwebservice-dataprovider";); // importation du script précédent
var monwebservice_import = monwebservice.createService;
var service = monwebservice_import.service;
console.log(service.getDataFromAllCountries());

Resultat: undefined :cry:

Message édité par tompouss le 05-04-2017 à 13:58:31

---------------
collectionneur de pâtes thermiques

torwood3

Ca fonctionne ?

Tu peux expliquer ce que tu exportes ?

Si c'est basé sur le code proposé, le soucis vient de la ligne 8.
Il faut exécuter la fonction "createService".
Et tant qu'on y est, en complément de var on a introduit dans la nouvelle version de JS (ES6) les types "let" et "const"

"let" remplace var pour les variables qui vont être modifié. "const" pour les variables qui ne seront pas modifié (une constante). Pense donc a harmoniser ton code.

Code :

const monwebservice_import = monwebservice.createService();

Euh ... :non:
Tu t'attends à voir les données affichés avec le console log ?
En basant de ce qui a été montré plus tot (requête get), on se trouve dans une situation asynchrone.
Potentiellement, le console.log va être exécuté AVANT que t'a requête soit fini. Bienvenu en JavaScript :sol:
Modulo le faite que tu ne retournes rien de la fonction "getDataFromAllCountries", c'est une source de soucis.

Je pense qu'il va falloir faire un zeste de gymnastique intellectuelle pour introduire l'asynchrone dans ce que tu comptais faire.
La solution la plus simple que je vois, c'est d'utiliser une callback (Sinon, faut regarder les promises, async/wait)

En gros, tu fais un truc comme ca :

Code :

//Dans monwebservice-dataprovider.js
...
getDataFromAllCountries: done => {
var url = "https://monserviceweb.com";
rest.get(url).on('complete', (data, response) => {
//transformation, verification de data
if (response = error) //Tester si c'est une erreur
done(null, error);
else
done(data, null);
});
}
...

Code :

var monwebservice_import = monwebservice.createService();
var service = monwebservice_import.service;
...
//Et quand tu manipules les données.
service.getDataFromAllCountries((data,err) => {
if(!err) {
console.log("Oups, error : " + err);
return //ou throw Error etc...
}
//Manipuler les données qui se trouvent dans la variable data
});

Pour info

Code :

() => {} === function() {}

, "arrow function" introduit dans ES6.

Tu vois l'enchainement logique. On donne une callback a exécuter quand la requête se sera exécuté et on propage l'erreur
Et pour vos remarques sur le JS :kaola: !!! On fait avec ce qu'on a dans les navigateurs hein !

Je vois aussi que les ";" sont aussi présent dans tes imports :

Code :

const async = require("async";);
const db = require("../db/db";);
const utils = require("../utils";);

Il y a une raison particulière ?
C'est la première fois que je vois ca.

Code :

const async = require("async" );
const db = require("../db/db" );
const utils = require("../utils" );

Message édité par torwood3 le 05-04-2017 à 16:40:07

tompouss

Petit chat

pour les ; dans les imports

const utils = require("../utils"; );

je sais pas d'où ca vient: j'ai bien cette syntaxe dans mon code

const utils = require("../utils" ) ;

Mais ca avance:

je parviens enfin à récupérer mes données dans le fichier test-monserviceweb-dataprovide.js

par contre je comprends pas ce qu'est le callback done?
C'est un truc natif à node je suppose ?

Un grand merci pour votre aide en tout cas

Message édité par tompouss le 05-04-2017 à 17:43:39

---------------
collectionneur de pâtes thermiques

torwood3

Code :

var monwebservice_import = monwebservice.createService();
var service = monwebservice_import.service;
...
//Et quand tu manipules les données.
const done = (data,err) => {
if(!err) {
console.log("Oups, error : " + err);
return //ou throw Error etc...
}
//Manipuler les données qui se trouvent dans la variable data
};
service.getDataFromAllCountries(done);

FORUM HardWare.fr

Programmation

Javascript/Node.js

[NODEJS] annuler 2meme requete sur un get

Sujets relatifs
selection ligne tableau pour requête	[microsoft query] étendre requête comme formule excel
Annuler une fusion et ré-écrire les données dans les cellules vides	Problème de requête sql
[Aide] Requete site internet avec une textbox Excel	SQL Requete Union
Aide pour requête...	Mise à jour requête OLEDB et TCD
[Aide] HTML/CSS - Réinitialiser une requête	[SQL] Question sur une requête
Plus de sujets relatifs à : [NODEJS] annuler 2meme requete sur un get

Page générée en 0.175 secondes