Коды ответа сервера: что значат 200, 301, 404, 500 и как они влияют на поиск

Проверьте коды ответа своих страниц

Вставьте один адрес или список до 50 страниц. Проверка покажет код каждой, цепочку редиректов, время ответа, заголовки, noindex и canonical. Переключите запрос на YandexBot или Googlebot — если роботу сайт отвечает иначе, чем браузеру, это видно сразу. Отдельная страница инструмента — проверка ответа сервера.

Что такое код ответа и какие бывают классы

Браузер или робот запрашивает адрес, сервер возвращает код и, если нужно, страницу. Первая цифра кода — класс ответа:

Коды ответа, которые важны для SEO

Подробно о двух самых частых ошибках — в отдельных статьях: ошибка 404 на сайте и ошибка 500 на сайте. Выбор между 301, 302, canonical и noindex разобран в статье редирект, canonical или noindex.

Как коды обрабатывают Яндекс и Google

Яндекс

• Участвовать в поиске может только страница с ответом 200 OK — любой другой код исключает её.
• Инструмент «Проверка ответа сервера» в Вебмастере ждёт ответ не дольше трёх секунд, а максимальный объём страницы — 10 МБ.
• Робот поддерживает условные запросы: если передать дату в If-Modified-Since, неизменённая страница может ответить 304 — это проверяется в том же инструменте.
• Ответ инструмента может отличаться от того, что получает робот: запрос идёт с другого IP. Точная картина — в логах сервера.

Google

• 301 и 308 — сильный сигнал, что индексировать нужно новый адрес; 302 и 307 — слабый. Робот проходит до 10 редиректов подряд.
• Содержимое страниц с кодами 4xx не обрабатывается, ранее проиндексированные адреса со временем удаляются из индекса. 404 и 410 для Google равнозначны.
• 401 и 403 не ограничивают скорость обхода — Google прямо просит не использовать их для этого.
• 5xx и 429 замедляют обход. Если сервер отвечает ошибкой постоянно, страницы удаляются из индекса; когда ответы снова 200, обход постепенно восстанавливается.
• Страница с кодом 200, которая выглядит как ошибка или пустая, отмечается как «мягкая 404».

Как проверить код ответа

1. Инструмент выше — список адресов сразу, с выбором робота и выгрузкой в CSV.
2. Вебмастер Яндекса — Инструменты → Проверка ответа сервера: ответ конкретному роботу Яндекса, проверка If-Modified-Since и SSL-сертификата.
3. Браузер — инструменты разработчика (F12) → вкладка Network → обновите страницу: код в колонке Status.
4. Командная строка — curl -I https://site.ru/page/ покажет код и заголовки, а с ключом -A "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)" — ответ на запрос с User-Agent робота.
5. Весь сайт — обходом: проверить каждую страницу и каждую внутреннюю ссылку вручную невозможно. Так работает СеоГард: он регулярно обходит сайт и собирает ошибки в задачи.

Ошибки, которые встречаются чаще всего

Какой код отдавать на время технических работ

503 Service Unavailable с заголовком Retry-After — он говорит, что недоступность временная и когда прийти снова. Пример для nginx:

location / {
    return 503;
}
error_page 503 @maintenance;
location @maintenance {
    add_header Retry-After 3600 always;
    root /var/www/maintenance;
    rewrite ^ /index.html break;
}

Короткие работы на час-два поиску не страшны. Но если 503 держится днями, поисковики начнут удалять страницы из индекса — так же, как при любой затяжной ошибке сервера.

Чек-лист