Les fichiers Robots.txt permettent de spécifier les règles que doivent respecter les moteurs de recherche lorsqu’ils référencent votre site. Vous pouvez par exemple empêcher Google d’aller voir dans votre dossier \mp3\ sur votre serveur en plaçant dedant le robots.txt approprié !
Donc aujourd’hui, dans ma série des générateurs, je vais vous parler des

Générateurs de robots.txt

• Robots.txt Generator
  Outil de génération de code pour les bots des moteurs de recherche
• Robots.txt Generator
  Générateur de robot.txt (en allemand)
• Robots Txt Generator
  Générez simplement un robots.txt pour votre site avec cet outil
• Robots.txt syntax checker
  Cet outil vous permettra de vérifier que la syntaxe de votre robots.txt est bonne