robots.txt для Яндекса: как он работает и как не закрыть лишнее

Песочница: проверьте свой robots.txt

Слева — файл, справа — адреса. В примере уже есть типичные ловушки: попробуйте найти, почему поиск по сайту оказался открыт для Яндекса, хотя в файле есть Disallow: /search. Затем вставьте свой robots.txt и адреса важных страниц: каталога, карточки товара, страницы с фильтром.

Что делает robots.txt, а чего не делает

Файл лежит в корне сайта — site.ru/robots.txt — и робот читает его перед обходом. В нём перечислено, куда ходить не нужно.

Отсюда главная путаница. Владелец закрывает раздел в robots.txt, чтобы убрать его из поиска, — а страницы висят в выдаче месяцами. Яндекс в справке прямо пишет, что закрытые в robots.txt страницы могут оставаться в поиске. Чтобы страница ушла, на ней нужен noindex в метатеге или заголовке ответа, и при этом она не должна быть закрыта в robots.txt: иначе робот не зайдёт на неё и не увидит запрет. Подробно — в статье «Редирект, canonical или noindex».

Требования к самому файлу

• Имя — строго robots.txt, в корне сайта, обычный текстовый файл.
• Сервер отдаёт его с кодом 200. Допустим редирект на другой robots.txt, который тоже отвечает 200.
• Размер — не больше 500 КБ.
• Без кириллицы: домены — в Punycode, адреса — в URL-кодировке.

Если хотя бы одно требование нарушено, Яндекс считает сайт открытым для индексирования. Например, robots.txt отвечает ошибкой 404 — для робота ограничений нет.

Какая секция сработает для Яндекса

Файл делится на секции. Каждая начинается со строки User-agent — для какого робота правила ниже.

Это самая частая ловушка. Разработчик добавляет в файл секцию для Яндекса, чтобы закрыть пару разделов, а общие правила оставляет в «*». В результате для Яндекса открывается всё, что было закрыто только в общей секции: поиск по сайту, сортировки, служебные страницы. Именно это происходит с /search в примере песочницы.

Пути в правилах чувствительны к регистру: /Catalog/ и /catalog/ для робота разные адреса. А в названиях директив регистр не важен: disallow и Disallow равнозначны.

Allow и Disallow: какое правило победит

Робот не читает правила сверху вниз. Он сортирует их по длине префикса — от короткого к длинному — и применяет последнее подходящее.

1. Берёт все правила своей секции, которые подходят к адресу.
2. Сортирует по длине: / короче, чем /catalog/, а тот короче, чем /catalog/sale/.
3. Побеждает самое длинное, то есть самое точное правило.
4. Если длина одинаковая и правила спорят — побеждает Allow.

Спецсимволы * и $

• * — любая последовательность символов, в том числе пустая. Disallow: /*print закроет и /print, и /catalog/item?print=1.
• К концу каждого правила робот мысленно добавляет *. Поэтому Disallow: /cart закрывает и /cart/, и /cartoon/ — помните об этом.
• $ в конце отменяет эту звёздочку. Disallow: /*.pdf$ закроет файлы PDF, но не адрес /price.pdf?v=2.
• # начинает комментарий. Строка Disallow: /# читается как Disallow: / — закрыт весь сайт.
• Disallow: без значения разрешает всё, а пустой Allow: робот просто пропускает.

Clean-param: дубли из-за меток и параметров

Директива только для Яндекса. Она говорит: адреса, которые отличаются этими параметрами, — одна и та же страница.

Clean-param: utm_source&utm_medium&utm_campaign
Clean-param: sort&view /catalog/

Первая строка действует на весь сайт: /divany/?utm_source=yandex робот будет считать адресом /divany/, а не отдельной страницей. Вторая — только для адресов, начинающихся с /catalog/. Параметры перечисляют через &, путь пишут вторым словом через пробел.

Почему не Disallow: закрыв адреса с метками, вы запретите роботу заходить по ссылкам с UTM вообще. Clean-param сводит все копии к одному адресу — робот не тратит обход на дубли, а сама страница остаётся доступной. Директива межсекционная: её можно писать в любом месте файла. Длина правила — до 500 символов, регистр важен: UTM_source и utm_source — разные параметры.

Что закрывать, а что нет

Шаблоны для двух типов сайта

Берите как основу и сверяйте с адресами своей CMS — пути у всех разные. После правки прогоните адреса через песочницу выше.

Интернет-магазин

User-agent: *
Disallow: /cart
Disallow: /checkout
Disallow: /personal/
Disallow: /compare/
Disallow: /search
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?view=

User-agent: Yandex
Disallow: /cart
Disallow: /checkout
Disallow: /personal/
Disallow: /compare/
Disallow: /search
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?view=
Clean-param: utm_source&utm_medium&utm_campaign&utm_content&utm_term

Sitemap: https://shop.ru/sitemap.xml

Сайт услуг или компании

User-agent: *
Disallow: /admin/
Disallow: /search
Disallow: /thanks/
Clean-param: utm_source&utm_medium&utm_campaign&utm_content&utm_term

Sitemap: https://company.ru/sitemap.xml

Во втором шаблоне нет отдельной секции для Яндекса — она и не нужна, если правила одинаковые для всех. Clean-param при этом работает: остальные роботы его просто пропускают. Страница «Спасибо за заявку» закрыта, чтобы робот не ходил на неё; если она уже попала в поиск, сначала снимите её через noindex, а закрывайте после.

Host и Crawl-delay больше не работают

Ошибки, которые встречаются чаще всего

Как проверить результат

1. Песочница выше — быстрая проверка до выкладки: какая секция действует и какие адреса закрыты.
2. Вебмастер → Инструменты → Анализ robots.txt. Здесь видно, как файл прочитал сам Яндекс, и можно проверить список адресов. Тут же — история изменений файла.
3. Вебмастер → Индексирование → Страницы в поиске → Исключённые. Если важные страницы помечены как запрещённые в robots.txt — ищите, какое правило их закрыло.
4. Регулярная проверка. robots.txt меняется незаметно: обновление CMS, плагин, выкладка с тестового сервера. Ошибку лучше поймать в день, когда она появилась, а не когда упал трафик.

Если страница пропала из поиска, а robots.txt тут ни при чём, — пройдите пошаговую проверку причин.

Чек-лист