Bonjour,
 
Je suis en train d'écrire un petit script ruby qui doit se connecter automatiquement à une URL et me donner le code HTML de la page
Ce que je fais de la manière suivante :  
 

 
Avec ruby1.8 j'obtiens l'erreur :  

Et si j'enlève l'élément "field3" de l'array ça tombe sur l'erreur de ruby 1.8
 
Est-ce que qqn pourrait m'éclairer? Parce que je comprend pas trop où est-ce que je me plante

Chez moi ça marche en tapant sur le login de HFR

Salut,
 
Je viens de tester avec plusieurs sites et obtiens cette erreur uniquement quand il faut utiliser https et non http ... Pourtant dans la doc je n'ai rien vu qui dise qu'on peut pas utiliser ça pour du https (sinon je comprend pas trop l'utilité de la methode use_ssl?)

require 'net/https'
 
http = Net::HTTP.new('www.site.com', 443)
http.use_ssl = true
http.start do |http|
  req = Net::HTTP::Get.new('/')
  res = http.request(req)
  puts res.body
end

faut faire avec un truc de ce genre

irb(main):001:0> require 'net/https'
LoadError: no such file to load -- net/https
        from (irb):1:in `require'
        from (irb):1
 
En googlant j'ai pas trouvé où télécharger ça ... Car NET/HTTPS ne semble pas exister dans le package par defaut de Ruby (à en croire la doc)

http://www.ruby-doc.org/core/classes/Net/HTTP.html tout en haut (c'est dans l'api core)
mais effectivement, la doc est pas très explicite, et ça n'apparait pas dans la doc de l'api standart

Effectivement c'est moyen
Mais ça marche toujours pas :
 

normal, le constructeur de Net::HTTP prends en paramètre le serveur
donc tu dois faire :

require 'net/https'
http = Net::HTTP.new('sourceforge.net', 443)
http.use_ssl = true
http.get('/projects/e17/genmenu/index.php')

D'accord compris, merci beaucoup
Par contre pour que ça marche j'ai du remplacer :

 
Par
 

 
Maintenant ça marche nikel, merci. Je vais m'attaquer à l'envoi du formulaire maintenant, en espérant que ça se passe sans trop de problèmes

les 2 sont valables, la première permet simplement d'utiliser l'authentificaiton http
edit : en fait, c'est parcequ'il fallait faire

res = http.request(request)

Donc nouveau problème
J'arrive à envoyer correctement les informations avec post + form_data mais voilà le site me renvoie un cookie afin de m'identifier, et apparemment Ruby ne le stoque pas (j'ai testé en local un petit script php qui me l'a confirmé). Comment faire pour que si le serveur envoie un cookie à ruby, il le stoque et l'utilise dans le get suivant?
Ce que j'essaie de faire là en fait est d'émuler le comportement d'un navigateur normal afin d'automatiser certaines procédures

libcurl pour Ruby?
Ca existe en standalone, en PHP et d'autres. Pour Ruby je sais pas et je sais pas si c'est utile mais c'est une lib bien répandue en tout cas.

J'avais cherché mais j'avais lu sur un forum que ruby savait faire pareil mais en mieux ...

Salut,
 
Pour ce qui est de la navigation, j'ai opté pour mechanize qui se base sur hpricot. Peut-être l'un des 2 te suffira?

Ok merci...
Là je tente de voir si j'y arrive avec Curl vu que j'avais déjà utilisé avant, après si je m'en sors pas j'irai voir mechanize ou hpricot ... Quels sont leurs benefices face à libcurl au fait?

Je ne connais libcurl qu'en C, donc je sais pas si c'est très correct comme comparaison
mechanize te permet d'obtenir quasiment le comportement d'un navigateur. Tu peux poster des formulaires très simplement, et si tu as besoin de parser la page à la recherche d'une info bien précise, tu peux te baser sur hpricot avec ses xpath.
Libcurl telle que je la connais est beaucoup plus bas niveau.

Exemple d'un code que j'utilise:

$agent = WWW::Mechanize.new
  class LoginPage
    @@UrlExtension = '?page=login/index'
    @@LoginFormName = 'form'
    @@Identifier = 'Login'
    
    # Try to log into <mysite> using the login and password provided as parameters
    # Return true if successful, false otherwise
    def login
      li = LoginInfo.instance
      
      # load and fill the login form
      ## Le couple (BASE_URL + @@UrlExtension) forme une extension https tout ce qu'il y a de plus classique
      page = $agent.get(BASE_URL + @@UrlExtension)
 
      # je récupère et remplit le formulaire
      login_form = page.form(@@LoginFormName)
      login_form.user_name = li.login
      login_form.user_pass = li.password
 
      # et je soumets
      testPage = $agent.submit(login_form)
      
      # Look if there still is the 'Login' button after submit, thus proving that login was unsuccessful
      if isLoginPage(testPage)
          puts 'Error: can\'t login in <mysite>'
          Process.exit
      end
      
      # Reaching this statement means we succesfully logged in
      return true
    end # login Function
    
    # Return true if the page parameter is a login page, false otherwise
    def isLoginPage(page)
      testSubmitValue = (page/'/html/body/form/table/tr[4]/td/input')
      if testSubmitValue.any?
        if testSubmitValue.first['value'] = @@Identifier
          return true
        end
      end
      
      # Reaching this statement means the page doesn't contain the login button
      return false
    end # isLoginPage function
    
  end # LoginPage class

Les lignes les plus pertinentes sont celles qui utilisent $agent qui représente le "navigateur". Par contre, je ne te garantis pas que ce code soit très clean niveau Ruby vu que je debute et que j'ai du mal avec certains concepts

Edit: oups, une info qui traîne...

je suis en train de lire la doc pour mechanize (qui fourni même un mini tuto ) et effectivement c'est exactement ce que je cherchais ... Je pensais même pas que quelqu'un c'était amusé à faire un truc de ce genre ...  
Merci beaucoup

Je suis en train de tester mechanize et effectivement c'est super.
Il y a juste un truc que j'arrive pas à comprendre, c'est l'utilisation de set_fields().
J'ai plusieurs champs et aimerais éviter de devoir me taper X fois la ligne form.noDuChamp = valeur , apparemment set_fields sert justement à ça ... Mais quand j'essaie de faire  

 
Il crie .. Est-ce  que tu sais pourquoi?

Je ne me suis pas servi de cette fonction, mais je pense que c'est juste dû à la syntaxe utilisé pour le tableau. Ce devrait plutôt être quelque chose comme ça:

dataToSubmit = {
    'champ.1'=>'test',
    'champ.2'=>'test'
}
     
myform.set_fields(dataToSubmit)

Edit: c'est moi ou le texte entre quote n'est pas compté comme texte par le parser??

C'est une faute d'écriture, j'ai effectivement mis des => dans le tableau. Par contre je viens de trouver comment ça marche :
 

Maintenant 2 questions :  
1: Pourquoi :champ et pas 'champ' ? J'ai beau regarder le code de set_fields je ne comprend pas
2: Comment je fais si j'ai un field qui s'appelle champ.1 pour qu'il n'interprete pas le point comme le signe orienté objet?
 
Merci

Désolé, tu dépasses le peu que je sais de cette lib

Tu peux pas utiliser les deux indifférement?

Si mais ça marche quand même pas si je fais champ.2 ... Le fait de le mettre entre '' n'est pas censé dire à l'interpréteur qu'il ne faut pas considérer ça comme du ruby mais comme un string (comme en php quoi) ?

Si, après il est possible qu'il balance un #to_sym mais ça ne devrait pas poser de problème.

ça c'est uniquement dans Rails avec des HashWithIndifferentAccess

 
Où est-ce que je me plante?

Donc au final je suis arrivé à me connecter convenablement  
 
(pour le problème que j'ai eu au post plus haut, j'ai vu que le champs en question était facultatif ... Je chercherai comment le faire passer quand j'aurai le temps )
 
Par contre j'ai un autre petit soucis. Voilà ce que me répond le serveur quand j'envoie le form avec FF :
 

 
Ce qui m'embête surtout c'est le newphoton.pmb ... Parce que après cette page mon FF se balade sur 2 autres pages tout seul en ramassant plusieurs cookies à la chaine avant d'arriver à la page qui m'interesse .... Et bien entendu Mechanize se perd en route ... À votre avis ce pmb peut être une fausse image envoyée au navigateur qui, une fois loadée, lui fait faire les redirections ?

voici comment j'ai fait pour récupérer un cookie avec Net::HTTP  
(snippet de login sur un punbb)
 

http = Net::HTTP.new(SERVER)
login_url = "#{SUBDIR}login.php?action=in";
 
# POST request -> logging in
 
login_qs = "form_sent=1&redirect_url=index.php&req_username=#{LOGIN}&req_password=#{PASS}"
headers = {
  'Content-Type' => 'application/x-www-form-urlencoded'
}
 
resp, data = http.post(login_url, login_qs, headers)
cookie = resp.response['set-cookie'];
 
if cookie.nil?
    puts 'Oops ! bad password or login.'
    exit 0;
end;
 
headers['Cookie'] = cookie
 
# we are now logged...
puts "logged on #{SERVER} as #{LOGIN}"
puts

Oui mais les cookies sont bien mémorisés (Mechanize s'en occupe et ça a l'air de marcher comme il faut)