Генератор robots.txt

Выберите, что могут посещать поисковые системы и другие краулеры, добавьте карту сайта и скопируйте файл. Проверка ниже покажет, может ли краулер получить заданный адрес по вашим правилам.

Взять за основу
По умолчанию
robots.txt 
User-agent: *
Disallow: /admin/
Disallow: /cart/
Disallow: /search

Sitemap: https://example.com/sitemap.xml

Сохраните как robots.txt в корневой папке сайта, чтобы он открывался по адресу https://ваш-домен/robots.txt. robots.txt в любом другом месте игнорируется.

Размещаете свой сайт сами? Полный контроль над такими файлами даёт любой VPS. Сейчас от 3,02 € в месяц, на выбор: 2 226 серверов.

Сравнить небольшие серверы Генератор редиректов

Проверить адрес

Googlebot Запрещено Решает строка 3: Disallow: /cart/

Использована группа: User-agent: *

Работает в вашем браузере: ничего из введённого не отправляется на сервер.

Как это считается

robots.txt состоит из групп. Каждая группа начинается с одной или нескольких строк User-agent с названиями краулеров, для которых она предназначена, за ними идут правила Allow и Disallow. Краулер следует только одной группе: той, что называет его точнее всего, а если никакая не называет, то группе User-agent: *.

# группа для всех краулеров
User-agent: *
# ни один адрес, который начинается с /admin/
Disallow: /admin/
# кроме этого
Allow: /admin/help

Sitemap: https://example.com/sitemap.xml

Внутри группы побеждает правило с самым длинным подходящим путём, а при равенстве побеждает Allow. Проверка применяет именно эти правила, как они записаны в RFC 9309 и как им следуют Google и Bing, и показывает строку, которая решила.

Пример

При Disallow: /wp-admin/ и Allow: /wp-admin/admin-ajax.php Googlebot не может получить /wp-admin/options.php, потому что подходит только правило Disallow. А /wp-admin/admin-ajax.php получить может: подходят оба правила, и правило Allow длиннее.

Вопросы

Скрывает ли robots.txt страницу от Google?

Ненадёжно. Disallow запрещает обход, но Google всё равно может показать закрытый адрес, который нашёл по ссылкам, без описания. Чтобы страницы не было в результатах поиска, разрешите её обход и добавьте метатег robots noindex или заголовок X-Robots-Tag либо закройте её паролем.

Куда положить файл robots.txt?

В корень хоста, чтобы он открывался по адресу https://example.com/robots.txt. У каждого хоста должен быть свой: www.example.com, shop.example.com и версии с http и https читаются отдельно. Краулеры игнорируют robots.txt в подпапке.

Как заблокировать ИИ-краулеры вроде GPTBot и ClaudeBot?

Дайте им отдельную группу с Disallow: /, как делает генератор. Google-Extended и Applebot-Extended — это токены, а не краулеры: их блокировка не даёт Gemini и Apple обучаться на ваших страницах, не выводя вас из поиска Google или Apple. robots.txt — это просьба, поэтому краулер, который её игнорирует, нужно блокировать на сервере.

Является ли robots.txt мерой безопасности?

Нет. Файл может прочитать любой, и в нём перечислены пути, которые вы предпочли бы скрыть. Добросовестные краулеры ему следуют, остальные нет. Держите закрытые разделы за логином или паролем, например с помощью базовой HTTP-аутентификации.