Cómo se calcula
Un robots.txt se compone de grupos. Cada grupo empieza con una o más líneas User-agent que nombran los rastreadores a los que va dirigido, seguidas de reglas Allow y Disallow. Un rastreador sigue un solo grupo: el que lo nombra con más precisión, o el grupo User-agent: * cuando ninguno lo nombra.
# el grupo para todos los rastreadores User-agent: * # ninguna dirección que empiece por /admin/ Disallow: /admin/ # excepto esta Allow: /admin/help Sitemap: https://example.com/sitemap.xml
Dentro del grupo gana la regla cuya ruta coincidente es más larga, y en caso de empate gana Allow. El probador aplica exactamente estas reglas, tal como las recoge la RFC 9309 y las siguen Google y Bing, y muestra la línea que decidió.
Ejemplo
Con Disallow: /wp-admin/ y Allow: /wp-admin/admin-ajax.php, Googlebot no puede obtener /wp-admin/options.php, porque solo coincide la regla Disallow. Sí puede obtener /wp-admin/admin-ajax.php: coinciden las dos reglas, y la regla Allow es más larga.
Preguntas
¿Robots.txt mantiene una página fuera de Google?
No de forma fiable. Disallow impide el rastreo, pero Google aún puede listar una dirección bloqueada que encuentre mediante enlaces, sin descripción. Para mantener una página fuera de los resultados de búsqueda, deja que se rastree y añade una etiqueta meta robots noindex o una cabecera X-Robots-Tag, o protégela con una contraseña.
¿Dónde pongo el archivo robots.txt?
En la raíz del host, de modo que se abra en https://example.com/robots.txt. Cada host necesita el suyo: www.example.com, shop.example.com y las versiones http y https se leen por separado. Los rastreadores ignoran un robots.txt en una subcarpeta.
¿Cómo bloqueo rastreadores de IA como GPTBot y ClaudeBot?
Dales un grupo propio con Disallow: /, como hace el generador. Google-Extended y Applebot-Extended son tokens, no rastreadores: bloquearlos impide que Gemini y Apple entrenen con tus páginas sin salir de la búsqueda de Google o Apple. Robots.txt es una petición, así que un rastreador que la ignore hay que bloquearlo en el servidor.
¿Es robots.txt una medida de seguridad?
No. Cualquiera puede leer el archivo, y lista las rutas que preferirías ocultar. Los rastreadores educados lo siguen, los demás no. Mantén las áreas privadas tras un inicio de sesión o una contraseña, por ejemplo con autenticación básica HTTP.