Что вызывает резкую остановку индексации новых страниц без технических изменений на сайте?

Ответ

Есть несколько возможных распространенных причин того, что Google перестал индексировать новые статьи:

1️⃣ Блокировка со стороны хостинга, CDN или WAF. Ваш хостинг провайдер или сервис защиты (например, Cloudflare) мог обновить свои алгоритмы фильтрации трафика и начал принимать Googlebot за вредоносного бота. Отдает ему ошибку 403 или блокирует соединение на уровне TCP. В GSC это вызывает ошибку сканирования (Server error 5xx), “url недоступен для Google” при попытке ручного индексирования.

2️⃣ Общее качество сайта в глазах Google снизилось. Особенно такое бывает после последних апдейтов, если алгоритмы Google решают, что на сайте много шаблонного или AI контента без реальной ценности для юзера. Часто в таком случае новые страницы попадают в статус “Обнаружена, не проиндексирована”.

3️⃣ Если ваш сайт попал под санкции Google, то в целом сайт перестает и ранжироваться и индексировать новые страницы. В GSC посмотрите раздел “Проблемы с безопасностью” и “Меры, принятые вручную”.

Чтобы узнать более точно конкретную причину, мы рекомендуем проверить логи сервера. Отфильтруйте их по User Agent Googlebot. Посмотрите, какие http статусы отдает сервер реальному боту (200, 403, 500). Если с этим все ок, то проверьте “Статистику сканирования” в GSC. Посмотрите статусы не индексируемых страниц и от этого уже будет понятно, какие необходимо предпринимать действия для решения проблемы.

Еще по теме:

• Можно ли проиндексировать покупные ссылки, создав для них карту сайта у себя на сайте?
Читал про интересный способ индексации покупных ссылок: на своём домене создаётся страница, закрытая от индексации. На ней есть список ссылок, которые нужно загнать в индекс....
• Какой код ответа ставить на страницы сайта, если стоит заглушка на доступ из других стран?
Стоит заглушка на сайте, что контент в стране недоступен для всех стран, кроме страны регистрации сайта (по требованию правообладателей). Какой код ответа лучше ставить на...
• Как удалить появляющиеся в индексе страницы, которых нет на сайте?
После смены тематики интернет-магазина (с одного вида продукта на другой) из индекса длительное время не исчезают страницы, которых нет на сайте. Эти страницы отдают 404....
• Как можно ускорить индексацию или переиндексацию страниц в Google?
Раньше я вручную отправлял каждую ссылку на переиндексацию после того как обновил контент. Как сейчас быть (Вопрос про Google, в связи с отключением инструмента для...
• Как исключить индексацию страниц и достаточно ли прописать rel nofollow?
Подскажите, достаточно ли прописать rel nofollow ссылкам фильтра товара, чтобы ПС отстал от них или их нужно совсем как-то скрывать чтобы их не было в...

---

Юлия К.

doctor@siteclinic.ru

Оцените мою статью: 

(Пока оценок нет)