Контроль индексации в Google Search Console и Яндекс Вебмастер

Что такое «контроль индексации» на практике

Страница может быть доступна и открыта, но при этом не индексироваться. Индексация - это выбор поисковика: включить URL в индекс и использовать его в выдаче. Чтобы понимать, что происходит, держим под контролем три вещи:

• Может ли робот зайти на страницу (доступ, robots.txt, коды ответа).
• Можно ли страницу индексировать (meta robots / X-Robots-Tag, canonical, редиректы).
• Что поисковик решил по факту (в индексе / исключена / выбрана другая canonical / ещё не дошёл).

Важно: «не в индексе» - не всегда ошибка. Например, служебные страницы, параметры, результаты внутреннего поиска и дубли часто должны быть исключены.

Google Search Console: куда смотреть и как читать

1) Проверка URL (URL Inspection)

Это самый быстрый способ понять, что Google увидел на конкретном URL.

Что смотреть внутри проверки URL:

• Доступность: какой код ответа получил Google, были ли ошибки загрузки.
• Индексация: «в индексе / не в индексе», причина, а также блоки про canonical.
• Canonical:
  • Заданный пользователем canonical - что вы указали (например, в <link rel="canonical" ...> или через заголовок).
  • Выбранный Google canonical - что Google решил считать основной версией.
• Последнее сканирование и скриншот/HTML, если доступны: помогает понять, что робот реально получил (иногда отличается от того, что видит обычный браузер).

Если вы недавно правили страницу, обычно уместно нажать «Запросить индексирование» - но это не гарантия: Google может проигнорировать запрос, если считает страницу дублем, слабой или служебной.

2) Отчёт по индексированию страниц (страницы/индексация)

Это ваш «пульт управления» по всему сайту: сколько страниц проиндексировано и почему другие исключены.

Как с ним работать:

• Смотрите динамику: резкие скачки «исключено», «ошибка», «проиндексировано» - повод разбираться.
• Открывайте причины исключения и уходите в примеры URL.
• Не пытайтесь «загнать в индекс всё». Важно, чтобы в индексе были нужные страницы (посадочные, товары/категории, статьи), а служебное - было управляемо исключено.

Подход «сначала понять, потом чинить»:

• Если причина похожа на настройку (robots/noindex/canonical/редирект) - проверяйте конфиг и шаблон.
• Если причина про качество/дубли/сканирование - смотрите структуру, перелинковку, уникальность и техническую доступность.

3) Sitemap

Отчёт по sitemap полезен не только «добавили и забыли», а как индикатор проблем:

• Файл sitemap читается без ошибок (важно, чтобы он отдавался с 200 OK).
• В sitemap попадают канонические URL, которые вы реально хотите индексировать.
• Рост ошибок в sitemap часто сигналит о массовых редиректах, 404, неправильной генерации ссылок.

4) Статистика сканирования (Crawl stats)

Это инструмент, чтобы понять, как Google тратит обход:

• сколько запросов в сутки,
• какие типы ответов преобладают (200/3xx/4xx/5xx),
• нет ли всплесков ошибок сервера или тяжёлых страниц.

Если растёт доля 4xx/5xx или резко падает активность - это уже не «SEO‑мелочь», а техническая проблема, влияющая на индексацию.

5) Удаления (Removals)

Инструмент для временного скрытия URL из выдачи. Он не заменяет noindex, canonical или удаление страницы - это именно «оперативная мера», когда нужно быстро убрать страницу из результатов поиска.

Яндекс Вебмастер: куда смотреть и как читать

Логика та же: проверяем конкретный URL и смотрим общую картину по сайту.

1) Проверка страницы/информация по URL

В Яндекс Вебмастере есть инструменты, где можно увидеть состояние URL и причины, почему страница может не попадать в поиск. Это помогает:

• увидеть, доступен ли URL роботу,
• понять, есть ли запреты на индексацию,
• сравнить, что Яндекс считает основной страницей при дублях/редиректах.

Название и расположение пункта в меню могут меняться, но смысл один: начните с проверки конкретного URL, если у вас точечная проблема.

2) Раздел «Индексирование»

Здесь смотрят:

• сколько страниц в поиске,
• сколько исключено и по каким причинам,
• как меняется картина со временем.

Полезный подход: если вы меняли шаблон (robots/meta/canonical/редиректы), сначала проверяйте 5–10 типовых URL, а потом смотрите, как это отражается в общей статистике.

3) Sitemap

Проверяйте, что sitemap:

• доступен и корректно читается,
• содержит нужные канонические URL,
• обновляется при добавлении новых страниц.

Если Яндекс долго «не подхватывает» новые страницы, sitemap и внутренняя перелинковка - первые места, куда стоит смотреть.

4) Обход и диагностика

В Яндекс Вебмастере есть отчёты по обходу и диагностике (ошибки ответа, проблемы доступности, подозрительные дубли и т. п.). Они нужны, чтобы понять:

• не упирается ли индексация в доступность сайта,
• нет ли массовых 404/редиректов,
• не возникли ли проблемы после релиза.

5) Переобход страниц

Это инструмент «подтолкнуть» робота к повторному обходу. Уместно использовать, когда:

• вы починили критичную ошибку (например, случайный noindex или запрет в robots),
• обновили важную посадочную/категорию,
• перенесли страницу и настроили редирект.

Не используйте переобход как замену нормальной индексации: если структура и качество слабые, он не станет «волшебной кнопкой».

Типовые статусы и как их трактовать

Ниже - удобная «шпаргалка», чтобы не паниковать из-за каждого исключения.

Быстрый алгоритм диагностики: 5 минут на проблему

1. Возьмите конкретный URL и проверьте его в инструменте проверки (GSC/Вебмастер).
2. Убедитесь, что сервер отдаёт ожидаемый ответ: 200 для страниц, 301 для переездов, 404/410 для удалённых.
3. Проверьте запреты: robots, noindex, X-Robots-Tag.
4. Проверьте canonical и единый вид URL (https, www, слеши, параметры).
5. Если запретов нет, но индексации нет - ищите причины в дублях, структуре и «силе сигнала» страницы (перелинковка, уникальность, соответствие интенту, полезность).

Регулярный контроль: что смотреть и как часто

Без «практики», но как рабочая привычка:

• После каждого релиза: выборочно 5–10 URL разных типов (главная, категория, товар, статья, фильтр), плюс sitemap.
• Раз в неделю: динамику «проиндексировано/исключено», всплески ошибок, новые причины исключения.
• Раз в месяц: структура индекса по разделам (что реально индексируется), качество sitemap, статистика обхода и доля ошибок ответов.

Частые ошибки контроля индексации

• Смотрят только «в индексе/не в индексе», игнорируя причину и выбранный canonical.
• Пытаются «впихнуть в индекс» фильтры, сортировки и служебные URL вместо управления дублями.
• Не проверяют, что боту может отдаваться другой вариант страницы (заголовки, запреты, динамический контент, антибот‑защита).
• Чинят «симптом» (например, жмут переобход), но не чинят источник (шаблон, редиректы, генерация URL, перелинковка).

Итог

Search Console и Яндекс Вебмастер - это не «поставили и забыли», а инструменты контроля качества: доступность, запреты, каноничность и фактические решения поисковиков по индексации. Если вы регулярно проверяете ключевые отчёты и понимаете статусы, большинство проблем ловятся на ранней стадии - до того, как они превращаются в просадку трафика.