Perl

[Perl] Appeler une page web et recupérer le source

Recherche :

Mot : Pseudo : Filtrer
Bas de page
Auteur	Sujet : [Perl] Appeler une page web et recupérer le source

Erwanfr

Salut, je voudrais appeler une page web et pouvoir en récupérer le source afin de le parser.
Pouvez vous me donner une piste pour cela ?

en gros
- appel de la page + paramètre
- au lieu d'afficher le resultat, le stocker en méméoire
- parser la mémoire et recupérer des elements

a+

Publicité

Erwanfr

c'est incompréhensible mon truc ou vous avez pas d'idée

gm_superstar

Appelez-moi Super

On mange !

Erwanfr

bah bonne app alors mais t'touffe pas comme même, on sait jamais tu pourrais peut-etre m'aider pour mon pb

gm_superstar

Appelez-moi Super

Tu te rends compte que ce que tu veux faire est dans le manuel PHP ?

http://fr.php.net/manual/fr/features.remote-files.php

Par contre, écrire un parseur pour toute une page HTML ça va pas être évident.

Éventuellement si tu traîtes des documents XHTML tu peux utiliser les fonctions DOM de PHP pour manipuler ton fichier, car le XHTML est du XML

taureau

gm ça va pas l'aider trop php lui il veut le coder en perl

et bien sur c possible mais bon perl et moi ça fait beaucoup et j'ai pas assez de doitgs pour compter alors je sors

Erwanfr

hmmm merci pour vos infos
en php, ba pourquoi pas j'vais jeter un coups d'oeil par là alors

le parser est pas trop complexe il s'agit juste de recuperer une chaine redondante dans le source renvoyé.

j'avais fais la liaison parser -> perl mais si php sait le faire c'est aussi bien

++

Erwanfr

Par exemple, vous pouvez suivre l'exemple suivant pour ouvrir un fichier sur un serveur web distant, analyser les résultats pour extraire les informations dont vous avez besoin, et ensuite l'utiliser dans une requête de base de données, ou simplement éditer les informations dans le style de votre site

gm, tu t'y est prit comment pour la recherche ?
google, recherche dans le fichier d'aide ou bien tu connaissais l'astuce avant ?

Message édité par Erwanfr le 03-09-2002 à 20:43:34

gm_superstar

Appelez-moi Super

Taureau a écrit a écrit :

gm ça va pas l'aider trop php lui il veut le coder en perl

et bien sur c possible mais bon perl et moi ça fait beaucoup et j'ai pas assez de doitgs pour compter alors je sors

Je sors aussi

gm_superstar

Appelez-moi Super

Erwanfr a écrit a écrit :

gm, tu t'y est prit comment pour la recherche ?
google, recherche dans le fichier d'aide ou bien tu connaissais l'astuce avant ?

Bah je savais qu'il y avait un chapitre sur l'ouverture des fichiers à distance. Par contre c'est un coup de bol que ça traite de l'analyse d'un fichier HTML

Bon désolé j'avais crû lire [PHP] dans ton sujet, mais je suppose que ceci doit être tout aussi facilement réalisable en Perl.

Message édité par gm_superstar le 03-09-2002 à 20:47:52

Publicité

taureau

gm revient finalement il veut bien en php

(pardon erwanfr )

stef_dobermann

Personne n'est parfait ...

En Perl faire ca c trop simple
utilise le module LWP, je l'ai fait pour differents
sites et ca marche à merveille, par contre, s'il y a des cookies
ou d'autres du style il faudrat un peu chercher.

Sur le site de www.CPAN.org tu trouvera toutes la doc que tu veux

---------------
Tout à commencé par un rêve...

Tentacle

stef_dobermann a écrit a écrit :

En Perl faire ca c trop simple
utilise le module LWP, je l'ai fait pour differents
sites et ca marche à merveille, par contre, s'il y a des cookies
ou d'autres du style il faudrat un peu chercher.

Voilà un exemple (tiré de la documentation perl sur le module LWP ... cherche un fichier LWP.html dans ton dossier d'installation de perl) :

Code :

# Create a user agent object
use LWP::UserAgent;
my $ua = new LWP::UserAgent;
$ua->agent("AgentName/0.1 " . $ua->agent);
# Create a request
my $req = new HTTP::Request POST => "http://forum.hardware.fr/";
$req->content_type('application/x-www-form-urlencoded');
$req->content('match=www&errors=0');
# Pass request to the user agent and get a response back
my $res = $ua->request($req);
# Check the outcome of the response
if ($res->is_success) {
print $res->content;
} else {
print "Bad luck this time\n";
}

Tu récupères donc dans $res->content le contenu de ta page.

pospos

et avec lwp::simple c'est encore plus simple!

ca donne un truc genre:

use LWP::Simple;
$source = get("http://www.tralala.fr" );

et si t'a rien dans ta variable ben c'est k'ya eu une erreur...
difficile de faire plus simple!

sire de Botcor

Armorican way of life

pospos a écrit :

avec lwp::simple c'est encore plus simple!

use LWP::Simple;
$source = get("http://www.tralala.fr" );

euh : ça ne marche pas du tout !
ptêt que ça vient du fait que je sois derrière un proxy ?

Message édité par sire de Botcor le 23-04-2004 à 15:35:00

sire de Botcor

Armorican way of life

personne ne saurait comment modifier ces deux lignes de codes pour qu'elles supportent le passage par un proxy ?

burgergold

5$? va chez l'diable!

pospos a écrit :

justement jallais le posté, jai découvert ca aujourd'hui

chevket

Code :

http://www.google.fr/search?q=cach [...] roxy&hl=fr

apparement tu pourra pas utiliser LWP::Simple derriere un proxy, d'ailleurs son nom l'indique, c'est des fonctions simples, donc derriere un proxy, c'est pas simple

il ne te reste plus qu'a utiliser LWP::UserAgent qui d'un autre coté offre des fonctionnalités interessantes (cookie, referer...)

Message édité par chevket le 24-04-2004 à 11:51:44

chaica

Tu veux faire quoi au final avec ta page parsée? Il existe peut être un programme qui fait déjà ce que tu veux?

pospos

avec LWP::Simple (et LWP si on ne configure pas le proxy exmplicitement) il faut mettre ses parametres de proxy dans la variable d'environnement "HTTP_Proxy" (et renseigner "NO_Proxy" pour les adresses locales)

on peut aussi lme faire localement dans le script:

Code :

use LWP::Simple;
%Env{HTTP_Proxy} = "http://proxy.bidule.fr:81";
$source = get("http://www.tralala.fr" );

chevket

J'en apprends tous les jours...

trop bien ce topic que j'avais jamais parcouru.

bill_clinton

nonon j'ai pas de stagiaire ..

pour des récupérations en masse tu peux aussi utiliser getstore(), ce qui te permet de stocker toutes tes pages sur disque et de les découper après, comme ca si tu foires au découpage tu peux toujours recommencer facilement

du style :

Code :

use LWP::Simple;
for ($i = 337540; $i < 2500000; $i++)
{$u = "http://www.machin.net/cgi?a=".$i;
print $u."\n";
if (is_success(getprint($u)))
{$fich = $i.".htm";
getstore($u, $fich)}}

Message édité par bill_clinton le 18-05-2004 à 02:45:55

pospos

la tu la telecharge deux fois: getprint et getstore!

Atulya

system("lynx -term=vt100 -source $url > $pagesource\n" )
en fait jutilise ca pour recuperer une page source, pcq la cde wget ne marchait pas.
Est-ce possible que je ne recupere pas la meme page source que quand je fais un copier coller de ma page source manuellement?
J'ai aussi un programme qui parse la page, et dans un cas il marche (copier coller) et pas dans l'autre (source recupere avec lynx)... arf!
Merci a ceux qui sauront m'eclairer de leur lumiere!

burgergold

5$? va chez l'diable!

pk tu utilise lynx quand ya des fonctions propres à perl pour le faire...

---------------
http://www.boincstats.com/signature/user_664861.gif

malcolm x

Burgergold a écrit :

pk tu utilise lynx quand ya des fonctions propres à perl pour le faire...

explique toi ca m'interesse aussi !

burgergold

5$? va chez l'diable!

merde vous avez lu le topic? ca montre comment récupérer le contenu html d'un url par des modules perl!

Code :

use LWP::Simple;
$source = get("http://www.tralala.fr" );

---------------
http://www.boincstats.com/signature/user_664861.gif

malcolm x

Burgergold a écrit :

merde vous avez lu le topic? ca montre comment récupérer le contenu html d'un url par des modules perl!

Code :

use LWP::Simple;
$source = get("http://www.tralala.fr" );

bah de ce que j'en avais compris, les gars etaient pas tous d'accord sur la methode a employer :ange:

Atulya

si !!!
j'ai lu, j'ai essaye, et ai pas reussi ;-( (j'dis pas que ca marche jamais..)
avec get et wget, j'obtiens rien! Je cherche a recuperer le source d'une page qui est le resultat d'une recherche... C'est peut etre ca le hic...

burgergold

5$? va chez l'diable!

jai deja test sur un cgi avec des paramètres et ca fonctionne #1

---------------
http://www.boincstats.com/signature/user_664861.gif

Publicité

FORUM HardWare.fr

Programmation

Perl

[Perl] Appeler une page web et recupérer le source

Sujets relatifs
Test de ma page SVP... (xhtml inside)	Inclure une page qui affiche des variables.
mettre des page mes page html sur mon site en php comment kon fait?	[PHP-MySQL] Rediriger vers une page une fois le formulaire envoyé.
[PHP-MySQL] Récupérer une valeur de menu déroulant.	[ CDDB ] Un script bash permettant de recupérer des données cddb ?
Fermer une page après début de téléchargement...ou impression	troll perl vs php
[HTML] Mise en page en TABLO ! PB tres bizar ! A l'aide !!	probleme d'affichage d'un fond sur une page wen
Plus de sujets relatifs à : [Perl] Appeler une page web et recupérer le source

Page générée en 0.061 secondes