robots.txt-Generator

Legen Sie fest, was Suchmaschinen und andere Crawler besuchen dürfen, fügen Sie Ihre Sitemap hinzu und kopieren Sie die Datei. Der Tester darunter sagt, ob ein Crawler eine bestimmte Adresse nach Ihren Regeln abrufen darf.

Ausgangspunkt
Standardmäßig
robots.txt 
User-agent: *
Disallow: /admin/
Disallow: /cart/
Disallow: /search

Sitemap: https://example.com/sitemap.xml

Speichern Sie sie als robots.txt im Stammordner Ihrer Website, sodass sie unter https://ihre-domain/robots.txt erreichbar ist. Eine robots.txt an anderer Stelle wird ignoriert.

Betreiben Sie Ihre Website selbst? Volle Kontrolle über Dateien wie diese bietet jeder VPS. Heute ab 3,02 € im Monat (Auswahl: 2.226 Server).

Kleine Server vergleichen Weiterleitungs-Generator

Adresse testen

Googlebot Gesperrt Entschieden durch Zeile 3: Disallow: /cart/

Verwendete Gruppe: User-agent: *

Läuft in Ihrem Browser: Nichts, was Sie eingeben, wird irgendwohin gesendet.

So wird gerechnet

Eine robots.txt besteht aus Gruppen. Jede Gruppe beginnt mit einer oder mehreren User-agent-Zeilen, die die Crawler nennen, für die sie gilt, gefolgt von Allow- und Disallow-Regeln. Ein Crawler befolgt nur eine Gruppe: die, die ihn am genauesten nennt, oder die Gruppe User-agent: *, wenn ihn keine nennt.

# die Gruppe für alle Crawler
User-agent: *
# keine Adresse, die mit /admin/ beginnt
Disallow: /admin/
# außer dieser
Allow: /admin/help

Sitemap: https://example.com/sitemap.xml

Innerhalb der Gruppe gewinnt die Regel mit dem längsten passenden Pfad, und bei Gleichstand gewinnt Allow. Der Tester wendet genau diese Regeln an, wie in RFC 9309 beschrieben und von Google und Bing befolgt, und zeigt die entscheidende Zeile.

Beispiel

Mit Disallow: /wp-admin/ und Allow: /wp-admin/admin-ajax.php darf Googlebot /wp-admin/options.php nicht abrufen, weil nur die Disallow-Regel passt. /wp-admin/admin-ajax.php darf er abrufen: Beide Regeln passen, und die Allow-Regel ist länger.

Fragen

Hält robots.txt eine Seite aus Google heraus?

Nicht zuverlässig. Disallow verhindert das Crawlen, aber Google kann eine gesperrte Adresse, die es über Links findet, trotzdem ohne Beschreibung auflisten. Damit eine Seite nicht in den Suchergebnissen erscheint, lassen Sie sie crawlen und fügen ein noindex-Robots-Meta-Tag oder einen X-Robots-Tag-Header hinzu oder schützen Sie sie mit einem Passwort.

Wo lege ich die robots.txt ab?

Im Stammverzeichnis des Hosts, sodass sie unter https://example.com/robots.txt erreichbar ist. Jeder Host braucht eine eigene: www.example.com, shop.example.com sowie die Versionen mit http und https werden getrennt gelesen. Crawler ignorieren eine robots.txt in einem Unterordner.

Wie sperre ich KI-Crawler wie GPTBot und ClaudeBot?

Geben Sie ihnen eine eigene Gruppe mit Disallow: /, wie es der Generator macht. Google-Extended und Applebot-Extended sind Tokens und keine Crawler: Sie zu sperren verhindert, dass Gemini und Apple mit Ihren Seiten trainieren, ohne die Google- oder Apple-Suche zu verlassen. Robots.txt ist eine Bitte; ein Crawler, der sie ignoriert, muss auf dem Server gesperrt werden.

Ist robots.txt eine Sicherheitsmaßnahme?

Nein. Jeder kann die Datei lesen, und sie listet die Pfade auf, die Sie lieber verbergen würden. Höfliche Crawler befolgen sie, andere nicht. Halten Sie private Bereiche hinter einem Login oder Passwort, zum Beispiel mit HTTP-Basic-Authentifizierung.