Erstelle eine robots.txt Datei um Suchmaschinen zu steuern - mit einfachen Checkboxen oder voller Kontrolle.
Wird als Kommentar in der robots.txt verwendet
Eigene Ordner hinzufügen:
User-agent: *Allow: /Disallow: /admin/Disallow: /wp-admin/
Eine Textdatei die Suchmaschinen-Crawlern mitteilt, welche Seiten sie besuchen duerfen
Boese Bots können die robots.txt ignorieren - für echten Schutz nutze Authentifizierung
Lade die Datei herunter und lege sie ins Stammverzeichnis (example.com/robots.txt)