Alors en fait c'est tout con.
Il faut juste ajouter les DNS de votre FAI dans les paramètres TCP/IP de votre réseau.
Donc, proprieté de votre connexion réseau, onglet general, propriété de Protocole internet (TCP/IP), et il faut entrer les DNS de votre FAI dans la deuxième partie (Utiliser l'adresse du serveur DNS suivante)
Pour ceux qui sont sous wanadoo, c'est:
DNS préféré: 193.252.19.3
DNS auxiliaire: 193.252.19.4