Страница может отсутствовать в поиске по десятку причин, но почти все они сводятся к трём группам: робот не может её загрузить, вы сами запретили её показывать или Яндекс решил, что она не нужна. Первые две группы чинятся за день. Третья — работа над содержанием.
- Начните со статуса адреса в Вебмастере — он почти всегда прямо называет причину.
- Проверьте по порядку: код ответа, robots.txt, noindex, canonical, дубли. Это занимает 10–15 минут.
- «Малоценная или маловостребованная» — не санкция. Это сигнал, что страница слабее соседних или не отвечает на спрос.
Пошаговая проверка
Ответьте на вопросы про одну страницу. Под каждым вопросом написано, где посмотреть ответ. Причины появятся сразу, как только найдутся, — с тем, что делать.
Когда страница появилась на сайте?
Как проверить: Если страница новая, причина может быть просто во времени. Обычно Яндекс находит новые страницы за дни или недели — быстрее, если на них есть ссылки.
Сначала: страницы нет или она просто далеко?
«Не вижу страницу в поиске» и «страницы нет в поиске» — разные проблемы. Первая — про позиции, вторая — про индексирование.
В Вебмастере статус «в поиске». По запросу её не видно на первых страницах, но по точной цитате из текста находится.
Это задача на продвижение: содержание, заголовок, ссылки, коммерческие факторы.
Статус в Вебмастере — «исключена» с причиной или адрес неизвестен роботу. По точной цитате страница не находится.
Это задача на индексирование — о ней статья.
Точнее всего статус показывает Вебмастер: Индексирование → Проверить статус URL. Вставьте адрес — сервис покажет, в поиске ли страница, когда робот её загружал и что ответил сервер. Если страница исключена, там же будет причина.
Как страница попадает в поиск
У каждой причины есть своё место в этой цепочке — так проще понять, где искать.
Статусы в Вебмастере и что с ними делать
В разделе Индексирование → Страницы в поиске → Исключённые у каждой страницы есть причина. Вот что они значат.
| Статус | Что это значит | Что делать |
|---|---|---|
| Ошибка при загрузке или обработке страницы роботом | Сервер ответил 3xx, 4xx или 5xx | Проверить ответ сервера; рабочая страница должна отвечать 200 |
| Запрещено в robots.txt или метатегом noindex | Вы сами запретили индексирование — возможно, случайно | Найти правило или метатег и убрать, если запрет не нужен |
| Страница перенаправляет робота | В поиске участвует цель редиректа | Убедиться, что редирект нужен и ведёт сразу на финальный адрес |
| Дублирует содержание другой страницы | Яндекс оставил в поиске одну из похожих | Склеить копии или сделать страницы разными |
| Не является канонической | В canonical указан другой адрес | Проверить, правильно ли указан canonical |
| Адрес сайта признан неглавным | Это неосновное зеркало сайта | Настроить 301 на основной адрес; проверить зеркало в Вебмастере |
| Малоценная или маловостребованная | Алгоритм счёл, что страница вряд ли нужна людям в поиске | Усилить содержание или объединить с близкой страницей |
| На сайте обнаружены нарушения | У сайта есть нарушения | Открыть «Безопасность и нарушения» и исправить |
Если адреса нет ни в поиске, ни среди исключённых, робот о нём просто не знает. Это решается ссылками, картой сайта и отправкой на переобход — подробнее ниже.
Технические причины: 15 минут на проверку
Они встречаются чаще всего и исправляются быстрее всего. Проверяйте в этом порядке: каждая следующая имеет смысл, только если предыдущая в порядке.
Код ответа
Робот должен получить 200. Браузер может показывать страницу нормально, а роботу сервер отвечает иначе: из-за защиты от ботов, геоблокировки, ошибки кеша. Проверяйте ответ именно для робота — в Вебмастере: Инструменты → Проверка ответа сервера.
robots.txt
Часто виновато правило шире задуманного (Disallow: /cat закрывает /catalog/) или секция «Yandex», которая отменила общие правила. Проверьте адрес в песочнице robots.txt.
noindex
Метатег <meta name="robots" content="noindex"> или заголовок X-Robots-Tag: noindex. Обычно остаётся после разработки или включается галочкой «скрыть от поисковиков» в CMS — сразу на целом типе страниц.
canonical
Шаблон может ставить canonical на первую страницу раздела, на адрес без параметров или на главную. Тогда все остальные страницы для робота — копии. У самостоятельной страницы canonical указывает на неё саму.
Редирект
Если адрес перенаправляет, в поиске будет цель. Иногда редирект ставят случайно — например, правило «убрать слеш» срабатывает на всех страницах раздела.
Зеркала
Сайт открывается и с www, и без, по http и https — Яндекс выбирает главное зеркало сам. Решение: 301 со всех вариантов на основной, постранично.
Дубли: когда в поиске не та страница
Если на сайте есть несколько похожих страниц, Яндекс показывает одну. Иногда это не та, которую вы продвигаете: вместо категории — страница с сортировкой, вместо основного товара — его копия в акционном разделе.
Откуда берутся дубли:
- Параметры в адресе: метки, сортировки, сессии —
/divany/?sort=price. - Слеш на конце, регистр,
index.php—/divanyи/divany/. - Один товар в нескольких категориях с разными адресами.
- Страницы под разные города с одним и тем же текстом.
Что делать — зависит от ситуации: где-то нужен 301, где-то canonical или Clean-param. Разбор по сценариям — в статье «Редирект, canonical или noindex».
«Малоценная или маловостребованная»
Самый непонятный статус. Технически со страницей всё в порядке, но Яндекс не берёт её в поиск.
По справке Яндекса, малоценная — это страница-дубль или страница без видимого роботу содержания. Маловостребованная — страница без ошибок и с содержанием, но для неё нет запросов, на которые она могла бы ответить. Статус не означает санкций, а ограничения на число страниц в индексе у Яндекса нет: полезные страницы будут проиндексированы.
Что делать
- Проверьте, видит ли робот содержание. Откройте исходный код и найдите основной текст. Если он появляется только после работы скриптов, сделайте вывод на сервере.
- Сравните с соседними страницами. Карточки, где отличается только цвет или размер, и страницы городов с одним текстом робот видит как повторы.
- Проверьте спрос. В Wordstat — ищут ли то, чему посвящена страница. Если спроса нет, она не попадёт в поиск, сколько ни отправляй на переобход.
- Усильте или объедините. Добавьте то, чего нет у соседей: характеристики, цены, ответы на вопросы, фото, отзывы. Или объедините несколько слабых страниц в одну сильную и поставьте 301 со старых адресов.
Как ускорить попадание в поиск
| Способ | Зачем |
|---|---|
| Ссылка с проиндексированной страницы | Самый надёжный способ: робот регулярно заходит на главную и разделы и находит новые ссылки |
| sitemap.xml | Список адресов для робота. В нём должны быть только страницы, которые вы хотите видеть в поиске |
| Переобход страниц в Вебмастере | Ручная отправка адресов. Удобно после исправления ошибки на конкретной странице |
| IndexNow | Сайт сам сообщает Яндексу о новых и изменённых адресах — подходит для больших сайтов |
| Мониторинг важных страниц | Раздел в Вебмастере: сервис сообщит, если важная страница выпала из поиска или изменилась |
Переобход не заставит Яндекс взять страницу в поиск — он лишь ускорит обход. Если причина в noindex или дубле, после переобхода страница так же останется исключённой.
Если выпало сразу много страниц
Массовое выпадение почти всегда техническое: сработало одно изменение сразу на сотнях страниц.
- Вспомните, что менялось за неделю-две до спада: релиз, обновление CMS, переезд на https, новый шаблон, плагин SEO.
- Откройте robots.txt — не уехал ли файл с тестового сервера с
Disallow: /. - Проверьте шаблон страниц на noindex и canonical — достаточно одной страницы каждого типа: категории, карточки, статьи.
- Посмотрите график «Страницы в поиске» в Вебмастере: в какой день начался спад и какие причины исключения выросли.
- Проверьте ответы сервера на нескольких страницах: ошибки 5xx при нагрузке или защита, которая режет робота.
Чем раньше заметить такую ошибку, тем меньше потери: страницы выпадают постепенно, по мере того как робот их переобходит. Поэтому robots.txt, noindex и canonical на ключевых шаблонах стоит проверять после каждого релиза.
Чек-лист
Проверьте страницу по пунктам
0 из 10Отметки сохраняются только в этом браузере.
Частые вопросы
Как узнать, есть ли страница в индексе Яндекса?
Точнее всего — в Вебмастере: Индексирование → Проверить статус URL. Сервис покажет, в поиске ли страница, когда робот её загружал и что ответил сервер, а если страница исключена — причину.
Сколько ждать, пока новая страница появится в поиске?
Яндекс не называет точных сроков: обычно от нескольких дней до пары недель. Быстрее всего страницы находятся по ссылкам с уже проиндексированных страниц; ускорить можно через «Переобход страниц» в Вебмастере и IndexNow.
Что значит «малоценная или маловостребованная страница»?
Малоценная — дубль или страница без видимого роботу содержания. Маловостребованная — страница без ошибок, но для неё нет запросов, на которые она могла бы ответить. Это не санкция: статус выставляется автоматически и может измениться, если страницу усилить.
Поможет ли «Переобход страниц», если страницу исключили?
Только после исправления причины. Переобход ускоряет загрузку страницы роботом, но не отменяет noindex, canonical на другую страницу или дубль — без исправления страница останется исключённой.
Почему страница пропала из поиска, хотя я ничего не менял?
Изменения могли случиться без вас: обновление CMS или плагина, выкладка robots.txt с тестового сервера, защита от ботов на хостинге, ошибки сервера при нагрузке. Ещё одна причина — появилась похожая страница, и Яндекс выбрал её основной.
Есть ли у Яндекса лимит на число страниц в индексе?
Нет. В справке Яндекса сказано, что ограничения на количество индексируемых страниц нет: полезные страницы будут проиндексированы. Если много страниц исключено как малоценные, дело в их содержании или дублях.
Узнайте о выпавших страницах раньше, чем упадёт трафик
СеоГард обходит сайт по расписанию и находит страницы, закрытые в robots.txt и noindex, редиректы и ошибки в карте сайта, canonical на чужие адреса. Каждая проблема — задача со списком страниц. Демо — бесплатно и без срока.