Crea un archivo robots.txt para controlar los crawlers de buscadores - con checkboxes simples o control total.
Opcional: Tu dominio para la directiva Host
Añadir carpetas personalizadas:
User-agent: *Allow: /Disallow: /admin/Disallow: /wp-admin/
Un archivo de texto que indica a los crawlers de buscadores qué páginas pueden visitar
Los bots maliciosos pueden ignorar robots.txt - para protección real usa autenticación
Descarga el archivo y colócalo en el directorio raíz (example.com/robots.txt)