bon,
ben j'en conclu que la logique est : Si pas de fichier robots.txt alors aurorisation de consultation. Le seul petit truc c'est que ça te fait des lignes dans le fichier log d'erreur.
j'ai trouvé ça sinon comme fichier robots.txt
User-agent: *
Disallow:
C'est pas bien long n'est-ce pas
. Ca autorise tout les robots sans restriction des pages lues et pas d'apparition d'un file not found.