Générateur robots.txt

Choisissez ce que les moteurs de recherche et autres robots peuvent visiter, ajoutez votre sitemap et copiez le fichier. Le testeur ci-dessous indique si un robot peut récupérer une adresse donnée avec les règles que vous avez écrites.

Partir de
Par défaut
robots.txt 
User-agent: *
Disallow: /admin/
Disallow: /cart/
Disallow: /search

Sitemap: https://example.com/sitemap.xml

Enregistrez-le sous le nom robots.txt dans le dossier racine de votre site, pour qu’il s’ouvre à l’adresse https://votre-domaine/robots.txt. Un robots.txt placé ailleurs est ignoré.

Vous hébergez votre propre site ? Tout VPS donne un contrôle total sur des fichiers comme celui-ci. À partir de 3,02 € par mois aujourd’hui, parmi 2 226 serveurs.

Comparer les petits serveurs Générateur de redirection

Tester une adresse

Googlebot Bloqué Décidé par la ligne 3 : Disallow: /cart/

Groupe utilisé : User-agent: *

Fonctionne dans votre navigateur : rien de ce que vous saisissez n’est envoyé ailleurs.

Comment c’est calculé

Un robots.txt est fait de groupes. Chaque groupe commence par une ou plusieurs lignes User-agent nommant les robots visés, suivies de règles Allow et Disallow. Un robot ne suit qu’un seul groupe : celui qui le nomme le plus précisément, ou le groupe User-agent: * quand aucun ne le nomme.

# le groupe pour tous les robots
User-agent: *
# aucune adresse qui commence par /admin/
Disallow: /admin/
# sauf celle-ci
Allow: /admin/help

Sitemap: https://example.com/sitemap.xml

Dans le groupe, la règle au chemin le plus long qui correspond à l’adresse l’emporte, et Allow l’emporte en cas d’égalité. Le testeur applique exactement ces règles, telles qu’écrites dans la RFC 9309 et suivies par Google et Bing, et montre la ligne qui a décidé.

Exemple

Avec Disallow: /wp-admin/ et Allow: /wp-admin/admin-ajax.php, Googlebot ne peut pas récupérer /wp-admin/options.php, car seule la règle Disallow correspond. Il peut récupérer /wp-admin/admin-ajax.php : les deux règles correspondent, et la règle Allow est plus longue.

Questions

Le robots.txt empêche-t-il une page d’apparaître dans Google ?

Pas de façon fiable. Disallow bloque l’exploration, mais Google peut quand même lister une adresse bloquée qu’il trouve par des liens, sans description. Pour garder une page hors des résultats de recherche, laissez-la être explorée et ajoutez une balise meta robots noindex ou un en-tête X-Robots-Tag, ou protégez-la par un mot de passe.

Où placer le fichier robots.txt ?

À la racine de l’hôte, pour qu’il s’ouvre à l’adresse https://example.com/robots.txt. Chaque hôte a besoin du sien : www.example.com, shop.example.com et les versions http et https sont lus séparément. Les robots ignorent un robots.txt placé dans un sous-dossier.

Comment bloquer les robots d’IA comme GPTBot et ClaudeBot ?

Donnez-leur un groupe à part avec Disallow: /, comme le fait le générateur. Google-Extended et Applebot-Extended sont des jetons plutôt que des robots : les bloquer empêche Gemini et Apple de s’entraîner sur vos pages sans quitter la recherche Google ou Apple. Le robots.txt est une demande : un robot qui l’ignore doit être bloqué sur le serveur.

Le robots.txt est-il une mesure de sécurité ?

Non. N’importe qui peut lire le fichier, et il liste les chemins que vous préféreriez cacher. Les robots polis le suivent, les autres non. Gardez les zones privées derrière une connexion ou un mot de passe, par exemple avec l’authentification HTTP basique.