Как найти причины резкой остановки индексации новых страниц без технических изменений на сайте?

Сайт публикует новые статьи, они доступны для индексации, robots.txt и технические настройки в порядке, но Google перестал индексировать новые страницы. Запрос на индексирование в Search Console тоже выдаёт ошибку. Вопрос: что может вызвать резкую остановку индексации без технических изменений на сайте?

Ответ

Есть несколько возможных распространенных причин того, что Google перестал индексировать новые статьи:

1️⃣ Блокировка со стороны хостинга, CDN или WAF. Ваш хостинг провайдер или сервис защиты (например, Cloudflare) мог обновить свои алгоритмы фильтрации трафика и начал принимать Googlebot за вредоносного бота. Отдает ему ошибку 403 или блокирует соединение на уровне TCP. В GSC это вызывает ошибку сканирования (Server error 5xx), “url недоступен для Google” при попытке ручного индексирования.

2️⃣ Общее качество сайта в глазах Google снизилось. Особенно такое бывает после последних апдейтов, если алгоритмы Google решают, что на сайте много шаблонного или AI контента без реальной ценности для юзера. Часто в таком случае новые страницы попадают в статус “Обнаружена, не проиндексирована”.

3️⃣ Если ваш сайт попал под санкции Google, то в целом сайт перестает и ранжироваться и индексировать новые страницы. В GSC посмотрите раздел “Проблемы с безопасностью” и “Меры, принятые вручную”.

Чтобы узнать более точно конкретную причину, мы рекомендуем проверить логи сервера. Отфильтруйте их по User Agent Googlebot. Посмотрите, какие http статусы отдает сервер реальному боту (200, 403, 500). Если с этим все ок, то проверьте “Статистику сканирования” в GSC. Посмотрите статусы не индексируемых страниц и от этого уже будет понятно, какие необходимо предпринимать действия для решения проблемы.

Хотите получить ответ на свой вопрос? Задайте его нам через телеграм-бота!↓

Задать свой вопрос

Подписаться на рассылку

Еще по теме:

Почему в Google не индексируется новый сайт?

Выкатили сайт, но он не индексируется в Google уже почти три месяца. В индексе две страницы, GSC пишет: исключено 61 страница, ошибка “Обнаружена, не проиндексирована”....

Как обеспечить индексацию покупных ссылок

Как ускорить индексацию внешних ссылок? Страницы доноров не попадают в индекс, как ускорить чтобы бот прошел по ним (интересует больше Google). В популярных соц. сетях...

Как ускорить индексацию обратных ссылок с сабмитов и различных профилей?

Как ускорить индексацию обратных ссылок с сабмитов и различных профилей? Ответ Качественные площадки-сабмиты обычно не имеют проблем с индексацией новых страниц и ссылок на них....

Как определить выпавшие из индекса страницы, если GSC не показывает больше 1000 штук и по какой причине Google мог склеить региональные поддомены?

Есть большой англоязычный информационный сайт (спрос отчасти ситуативный). Где-то в начале мая по данным GSC количество страниц в индексе (Покрытие->Страницы без ошибок) существенно упало. Как...