Проверка robots.txt для Яндекса
Вставьте robots.txt и адреса страниц — покажем, что закрыто для робота Яндекса и какой строкой, найдём ошибки и устаревшие директивы. Файл никуда не отправляется: проверка идёт в браузере.
- Бесплатно
- Файл не отправляется
- Правила Яндекса
- До 50 адресов
Для YandexBot действует секция User-agent: Yandex (строка 6). Закрыто 4 из 7.
- Открыта/catalog/divany/Ни одно правило не подошло — страница открыта
- Закрыта/catalog/divany/?sort=priceСработало
Disallow: /*?— строка 9 - Открыта/catalog/divany/?page=2Сработало
Allow: /*?page=— строка 10 - Открыта/search/Ни одно правило не подошло — страница открыта
- Закрыта/cart/Сработало
Disallow: /cart— строка 7 - Закрыта/catalog/divany/?utm_source=yandex&utm_medium=cpcСработало
Disallow: /*?— строка 9. Clean-param (строка 12) отбросит utm_source, utm_medium: для робота это адрес/catalog/divany/ - Закрыта/files/price.pdfСработало
Disallow: /*.pdf$— строка 11
Что поправить в файле
- Для YandexBot действует секция «User-agent: Yandex», а секция «*» не применяется вовсе. Правила из неё, которых нет в секции Яндекса, не работают: Disallow: /search, Disallow: /*?sort=.
- Строка 13: Яндекс больше не учитывает Host. Главное зеркало определяется 301-редиректом со всех вариантов адреса на основной.
- Строка 14: Crawl-delay Яндекс не учитывает с 22 февраля 2018 года. Скорость обхода настраивают в Вебмастере — «Скорость обхода сайта».
Проверка идёт в браузере, файл никуда не отправляется. Логика — по справке Яндекса; окончательный ответ даёт «Анализ robots.txt» в Вебмастере.
Что проверяем
Какая секция действует
Своя секция робота, «Yandex» или «*» — и какие правила из-за этого перестают работать.
Какое правило сработало
Для каждого адреса — Allow или Disallow, которое победило, и номер строки.
Clean-param
Какие параметры робот отбросит и как для него будет выглядеть адрес.
Устаревшие директивы
Host и Crawl-delay, которые Яндекс больше не учитывает.
Опасные строки
Disallow: / для всего сайта, «Disallow: /#», закрытые стили и скрипты.
Синтаксис
Кириллица, пустые строки внутри блока, правила до User-agent, неполный Sitemap.
Как пользоваться
- Скопируйте robots.txt сайта — он открывается по адресу site.ru/robots.txt.
- Добавьте адреса важных страниц: каталог, карточки, статьи, страницы с фильтрами.
- Переключите робота и проверьте подсказки — особенно про секцию «Yandex».
- Песочница: какие адреса закрыты для Яндекса и какой строкой
- Почему секция «*» перестаёт работать, когда есть секция «Yandex»
- Шаблоны для магазина и сайта услуг
Спецсимволы и порядок правил
| Запись | Что значит | Пример |
|---|---|---|
| * | Любая последовательность символов | Disallow: /*?sort= закрывает сортировки в любом разделе |
| $ | Конец адреса — без неявной «*» | Disallow: /*.pdf$ закрывает файлы PDF |
| # | Комментарий до конца строки | Disallow: /# читается как Disallow: / — весь сайт |
| Длина правила | Побеждает самое длинное подходящее правило | Allow: /catalog/sale/ сильнее Disallow: /catalog/ |
| Равная длина | Побеждает Allow | Allow: /a и Disallow: /a — адрес открыт |
Частые ошибки
Секция «Yandex» отменила «*»
Для Яндекса общая секция перестаёт действовать целиком — всё, что было закрыто только в ней, открывается.
Закрыли, чтобы убрать из поиска
Disallow запрещает обход, а не показ. Для удаления из поиска нужен noindex на открытой странице.
robots.txt с тестового сервера
«Disallow: /» уезжает на рабочий сайт при выкладке — и страницы начинают выпадать из поиска.
Вопросы
Удалит ли Disallow страницу из поиска?
Не обязательно: robots.txt запрещает обход, а не показ. Чтобы убрать страницу из поиска, нужен noindex, и страница не должна быть закрыта в robots.txt.
Работают ли Host и Crawl-delay?
Нет. Главное зеркало Яндекс определяет по 301-редиректу, а Crawl-delay не учитывает с 22 февраля 2018 года.
Нужна ли отдельная секция для Яндекса?
Только если правила для Яндекса отличаются. Если секция есть, общая «*» для Яндекса не действует, и все нужные правила придётся повторить.
Что будет, если robots.txt отдаёт 404?
Яндекс считает сайт открытым для индексирования: если файл недоступен или не соответствует требованиям, ограничений нет.
Проверьте весь сайт, а не одну страницу
СеоГард обходит все страницы сайта, сверяет их с данными Яндекс Вебмастера и Метрики и собирает найденное в задачи со списком страниц. Демо — бесплатно и без срока.