404 и 410: удаление страниц и обработка ошибок

Разбираемся, когда отдавать 404 или 410, почему опасны «мягкие 404» и редиректы всех удалённых страниц на главную, и как удалять страницы так, чтобы не терять трафик и не засорять индекс.

Содержание

Что означают 404 и 410

404 Not Found - сервер не нашёл страницу по этому URL. Причина может быть любой: страница удалена, URL набран с ошибкой, ссылка устарела, или контент временно недоступен.

410 Gone - страница удалена навсегда, и возвращаться по этому адресу не будет. Это более «жёсткий» сигнал для поисковика: URL можно быстрее исключать из индекса и реже переобходить.

Важно: 404 и 410 - это нормальные ответы сервера. Ошибка здесь не в том, что поисковик их видит, а в том, что сайт отдаёт их неправильно, слишком много, или «маскирует» под 200.

Когда использовать 404, а когда 410

На практике оба статуса решают одну задачу - сказать поисковику, что страницы нет. Разница в том, что 410 обычно ускоряет «забывание» URL, а 404 даёт более нейтральный сигнал.

СитуацияЧто отдаватьПочему
Страница точно удалена навсегда (товар снят, акция закончилась и замен не будет)410Явный сигнал «не возвращается», быстрее чистится индекс
Страница удалена, но вы не уверены, будет ли аналог или восстановление404Безопасный вариант «сейчас нет»
URL ошибочный (опечатка, мусорный параметр, боты перебирают адреса)404Нормальная обработка несуществующих адресов
У страницы есть очень близкий и полезный аналог (та же сущность, тот же интент)301 на аналогЛучше сохранить спрос и ссылки, чем «гасить» URL
Контент переехал на новый адрес (реальный перенос)301 на новый URLСохраняете сигналы и пользователей
Страница временно недоступна (работы, кратковременный сбой)503 + Retry-AfterНе надо превращать временную проблему в удаление

Если сомневаетесь - начните с 404. 410 имеет смысл, когда вы точно знаете, что URL больше не нужен и возвращаться не будет (например, массовое удаление устаревших карточек, архивирование).

Главная ловушка: «мягкие 404» (Soft 404)

Soft 404 - это когда сервер формально отдаёт 200 OK, но по факту показывает страницу «не найдено», пустую категорию, заглушку, или текст «товар удалён».

Почему это плохо:

  • поисковик видит 200 и может держать URL в индексе дольше, чем нужно
  • появляются «мусорные» страницы в индексе (пустые, одинаковые, бесполезные)
  • расходуется краулинговый бюджет на бесполезные URL
  • растёт число странных статусов в отчётах (вроде «Страница просканирована, но не проиндексирована»)

Ключевое правило: если страницы нет - статус должен быть 404 или 410, а не 200.

Сервисы для SEO-аудита онлайн

Вторая ловушка: редирект всех удалённых страниц на главную

Частая «быстрая правка» - настроить редирект любого 404 на главную или на категорию. Это почти всегда ухудшает ситуацию.

Что ломается:

  • поисковик видит массовую подмену смысла (URL был про одно, стал про другое)
  • редиректы начинают выглядеть как попытка манипуляции
  • пользователи попадают «не туда», растёт отказ и падают поведенческие сигналы
  • в индексе могут оставаться неправильные URL, потому что поисковику непонятно, что произошло

Редирект допустим только тогда, когда есть очень близкий по смыслу и интенту адрес.

Как принять решение: удалить, заменить или перенаправить

Удобная логика:

  1. Есть ли у удаляемой страницы органический спрос или ссылки?
  • Если да, сначала подумайте, можно ли сохранить интент: обновить, объединить, перенести.
  1. Есть ли «один в один» подходящая замена?
  • Тогда 301 на замену.
  1. Страница без замены, интента и трафика
  • тогда отдаём 404 или 410: это прямой сигнал, что URL больше не существует и его не нужно держать в индексе.

Важно: «замена» - это не любая похожая страница, а та, которая действительно отвечает на тот же запрос и интент. Если релевантной замены нет, чаще всего лучше 404/410, чем нерелевантный редирект.

Если на удаляемый URL всё-таки идёт ощутимый трафик, сначала лучше попытаться сохранить этот спрос: обновить страницу, подготовить новую релевантную и настроить 301 на неё, либо перенаправить на ближайший раздел, который действительно закрывает потребность пользователя. Иногда 301 делают на главную, но это скорее компромисс - обычно стараются этого избегать и перенаправлять только на релевантные страницы (или возвращать 404/410, если замены нет).

Особые случаи: e-commerce и каталоги

Товар закончился

  • Если товар временно отсутствует и вернётся - страницу лучше оставить и показывать наличие/сроки, альтернативы, подписку на поступление.
  • Если товар снят навсегда:
    • есть точный аналог (новая модель, тот же продукт) - 301 на аналог
    • аналога нет - 410 (или 404, если вы не уверены)

Категория пустая

Пустая категория с 200 OK часто превращается в soft 404, если там нет полезного контента.

Что обычно лучше:

  • если категория будет пополняться - оставить 200, но добавить понятный текст, альтернативные подкатегории, фильтры, популярные товары
  • если категория больше не нужна - 301 на ближайшую категорию (по смыслу) или 404/410, если смысла больше нет

Какой должна быть страница 404 для пользователя

Статус 404/410 нужен поисковику, но страницу при этом видит человек.

Хорошая 404-страница:

  • объясняет, что произошло, простыми словами
  • даёт пути продолжить: поиск, популярные разделы, ссылка на главную
  • не выглядит как «техническая ошибка сервера»
  • возвращает именно 404, даже если дизайн красивый

Отдельно: не стоит делать на 404 странице автоматический редирект через несколько секунд - это снова превращает ситуацию в «непонятно что».

Что делать с внутренними ссылками и картой сайта

  • Удалённые URL нужно убирать из внутренней перелинковки. Иначе вы сами каждый день «кормите» робота несуществующими страницами.
  • Удалённые URL нужно убирать из sitemap.xml. Карта сайта - это список страниц, которые вы хотите индексировать. Если URL в sitemap отдаёт 404/410, вы подаёте поисковику противоречивый сигнал.

Если есть внешние ссылки на удалённый URL, подумайте: есть ли близкий аналог, на который можно сделать 301. Если аналога нет - оставляйте 404/410.

Как проверять, что всё настроено правильно

Проверяйте не только «как выглядит в браузере», а именно ответ сервера:

  • статус ответа (должен быть 404 или 410)
  • конечный URL (нет ли скрытого редиректа)
  • одинаково ли отвечают сервер и CDN/кэш
  • нет ли разного ответа для людей и для роботов (это легко превращается в рискованные схемы)

Практичная проверка - открыть URL и в браузере, и через любой инструмент, который показывает HTTP-статус (например, через DevTools в браузере или через команду в терминале). Если инструмент показывает 200, а на странице написано «не найдено» - это soft 404.

Типовые ошибки, которые чаще всего мешают

  • 200 OK на страницах «не найдено» (soft 404)
  • 302 вместо 301 при переносе или при замене (в итоге сигнал слабее и дольше «гуляет»)
  • редирект всех 404 на главную
  • цепочки редиректов: удалённый URL -> одна страница -> другая страница
  • удалённые URL остаются в sitemap и внутренних ссылках
  • массовые 404 из-за изменения URL-политики без 301 (переименовали разделы, поменяли структуру и забыли про редиректы)

Если вы видите резкий рост 404, почти всегда причина в одном из трёх: перелинковка, миграция/редизайн без 301, или параметры/фильтры, которые генерируют мусорные URL.