Créez un fichier robots.txt pour contrôler les crawlers des moteurs de recherche - avec des cases à cocher simples ou un contrôle total.
Optionnel : Votre domaine pour la directive Host
Ajouter des dossiers personnalisés :
User-agent: *Allow: /Disallow: /admin/Disallow: /wp-admin/
Un fichier texte qui indique aux crawlers des moteurs de recherche quelles pages ils peuvent visiter
Les bots malveillants peuvent ignorer robots.txt - pour une vraie protection utilisez l'authentification
Téléchargez le fichier et placez-le dans le répertoire racine (example.com/robots.txt)