Forum |  HardWare.fr | News | Articles | PC | S'identifier | S'inscrire | Shop Recherche
1749 connectés 

  FORUM HardWare.fr
  Windows & Software
  Logiciels

  Quel webcrawler pour un forum protégé par mot de passe ?

 


 Mot :   Pseudo :  
 
Bas de page
Auteur Sujet :

Quel webcrawler pour un forum protégé par mot de passe ?

n°3273655
asmomo
Posté le 19-05-2017 à 19:57:02  profilanswer
 

Bonjour, je suis membre d'un forum dont les pages ne sont accessibles qu'après login. Je voudrais faire une copie de son contenu.
 
Quel logiciel est le plus adapté ? Il faut qu'il permette de régler la vitesse de crawl car je ne souhaite pas bourriner ni apparaître comme tel, si ça met une semaine ça ne me pose pas de soucis.
 
:jap:


---------------
New Technology is the name we give to stuff that doesn't work yet. Douglas Adams
mood
Publicité
Posté le 19-05-2017 à 19:57:02  profilanswer
 

n°3273659
Trit'
Posté le 19-05-2017 à 20:48:40  profilanswer
 

À part enregistrer en local les pages depuis ton navigateur, je ne vois aucun moyen légal de procéder (surtout sans demander la permission aux admins du forum en question, qui n’ont pas dû mettre son contenu en accès privé sans raison).


Message édité par Trit' le 19-05-2017 à 20:49:16
n°3273786
asmomo
Posté le 22-05-2017 à 04:23:17  profilanswer
 

Si j'ai le droit de participer à ce forum (je suis membre) en quoi serait-ce illégal ?


---------------
New Technology is the name we give to stuff that doesn't work yet. Douglas Adams
n°3273824
nex84
Dura lex, sed lex
Posté le 22-05-2017 à 11:17:57  profilanswer
 

asmomo a écrit :

Si j'ai le droit de participer à ce forum (je suis membre) en quoi serait-ce illégal ?


Participer ne veut pas dire en être propriétaire (du contenant ou du contenu).  
 [:moundir]  
 
Pour quelle raison veux tu "aspirer" ce forum ? (surtout qu'un forum est "vivant" par définition, et donc son contenu évolue en permanence)


---------------
#TeamNoBidouille || Come to the Dark Side, we have cookies || Mangez 5 fruits et légumes par an ! || Le digital, c'est les doigts
n°3347910
asmomo
Posté le 12-07-2019 à 14:05:36  profilanswer
 

En fait j'ai envie d'un backup pour usage perso. Le forum a déjà disparu (et c'est arrivé à nouveau depuis mon dernier message) avant d'être remis en ligne.
 
J'enregistre les pages les plus intéressantes mais c'est un peu lourd.


---------------
New Technology is the name we give to stuff that doesn't work yet. Douglas Adams
n°3347915
nex84
Dura lex, sed lex
Posté le 12-07-2019 à 14:29:30  profilanswer
 

Tout dépend du système d'authentification.
Si c'est du HTTP Basic ou un système de token utilisateur, les logiciels comme HTTrack sont capables de gérer l'envoi des informations de connexion.
Sinon c'est beaucoup plus complexe.


---------------
#TeamNoBidouille || Come to the Dark Side, we have cookies || Mangez 5 fruits et légumes par an ! || Le digital, c'est les doigts
n°3347935
Fork Bomb
Obsédé textuel
Posté le 12-07-2019 à 20:19:51  profilanswer
 

Ou wget (HTTrack n’est qu’une surcouche).


---------------
Décentralisons Internet-Bépo-Troll Bingo - "Pour adoucir le mélange, pressez trois quartiers d’orange !"
n°3347956
aldo13000
Posté le 13-07-2019 à 09:12:51  profilanswer
 

Salut  
 
J'utilise curl, j'ai demandé l'autorisation à l'admin quand même c'est pour faire des stats de foot


---------------

n°3359018
asmomo
Posté le 02-12-2019 à 14:36:43  profilanswer
 

J'ai essayé HTTrack, ça semblait fonctionner. J'ai juste testé vite fait puis j'ai un peu laissé tomber le sujet.
 
L'autre jour message des admin' du site comme quoi ils vont bannir tous ceux qui utilisent ce genre d'outil, donc je ne vais pas pousser plus loin.


---------------
New Technology is the name we give to stuff that doesn't work yet. Douglas Adams
n°3359033
Trit'
Posté le 02-12-2019 à 16:06:34  profilanswer
 

asmomo a écrit :

L'autre jour message des admin' du site comme quoi ils vont bannir tous ceux qui utilisent ce genre d'outil, donc je ne vais pas pousser plus loin.


Tu sais comment je faisais, moi, à mes débuts sur le Web (quand j’avais 16-17 ans, en 2001) ? Sélection de tout le texte des pages (du premier pseudo au dernier mot du dernier message) et copier-coller du texte sélectionné (tant pis pour les images et les smileys graphiques ; de toute façon, ils étaient souvent collés sous leur forme de code) dans un éditeur de texte tout simple comme WordPad (en, fait, je faisais pire, car j’ai longtemps préféré son ancêtre Write récupéré de Windows 3.1, encore plus basique). J’ai plein de fichiers textes datant de cette époque (j’ai dû arrêter vers 2005-2006, une fois qu’on a eu l’ADSL, car c’était avant tout dans un but de lecture hors-ligne) remplis de textes repris de sujets de forums comme Clubic ou autres.
 
C’est hyper rustique, mais là au moins, tu risques pas de te faire choper à utiliser un outil interdit par la charte de ton forum et qui pourrait se voir dans les logs du serveur, à cause de son user-agent qui le (et te) trahirait.

mood
Publicité
Posté le 02-12-2019 à 16:06:34  profilanswer
 

n°3359247
asmomo
Posté le 05-12-2019 à 10:03:44  profilanswer
 

Je peux juste enregistrer les pages avec le navigateur. Bon certes ça DL les images à chaque fois.
 
Mais mon idée était de pouvoir faire une recherche avec des mots clés, hors ligne (puisque le site pourrait fermer).


---------------
New Technology is the name we give to stuff that doesn't work yet. Douglas Adams

Aller à :
Ajouter une réponse
  FORUM HardWare.fr
  Windows & Software
  Logiciels

  Quel webcrawler pour un forum protégé par mot de passe ?

 

Sujets relatifs
Mot de passe oublié Windows 10Créer un gestionnaire demots de passe
Une application demande l'accès à un élément protégéDD qui passe du NTFS en RAW !!
Ou est passé mon dossier utilisateur ?[RESOLU] problème de mot de passe Windows 10
Mot de passe perduCertificat autosigné sur chrome, comment enregistrer les mots de passe
Plus de sujets relatifs à : Quel webcrawler pour un forum protégé par mot de passe ?


Copyright © 1997-2022 Hardware.fr SARL (Signaler un contenu illicite / Données personnelles) / Groupe LDLC / Shop HFR