Как можно определить, какие страницы выпали из индекса?

Ответ

Описанная вами ситуация, которая произошла в мае, похожа на Google Core Updates. Этот апдейт связан с качеством страниц. Прежде всего проверьте:

• Не закрыты ли от индексации важные разделы через noindex или robots.txt.
• Если на сайте много похожих статей под ситуативный спрос, Google мог оставить одну, а остальные исключить из индекса.
• Контент не несёт ценности, и Google пометил страницы как «Страница просканирована, но пока не проиндексирована».

1️⃣ Один из косвенных методов определения, какие страницы выпали из индекса, — использование расширения для Google Таблиц Search Analytics for Sheets. Выгрузите список страниц с кликами или показами за апрель (до падения) и за май. Сравните их через VLOOKUP (ВПР). Те страницы, которые имели показы в апреле и получили 0 или просто вылетели из списка в мае, и есть выпавшие. Метод имеет погрешности: выгрузка всё ещё ограничена 25 тыс. строк в бесплатной версии.

2️⃣ Второй способ — использование инструмента Screaming Frog. Подробнее про этот метод — здесь. Загрузите в программу список всех своих URL (из базы данных или старой карты сайта) в режиме List Mode. Подключите API Google Search Console в настройках (Configuration – API Access) и запустите сканирование. После завершения перейдите на вкладку Search Console. Отфильтруйте страницы, у которых статус в GSC — Not indexed или где показы упали до нуля. Программа сопоставит реальный скан сайта с данными из индекса Google.

3️⃣ Также существуют платные сервисы для лог-анализа и контроля индексации в интеграции с GSC, например JetOctopus.

Еще по теме:

• Как отменить запрос на удаление страницы из индекса?
Если случайно отправили запросы на удаление из индекса нужных страниц через Google Search Console, что сделать чтобы они не вылетели из индекса? Запросы отправлены, но...
• Как можно повлиять на индексацию страниц нового сайта и надо ли создать sitemap с тегом lastmod и добавить его в robot?
Сайту месяц, при первой индексации в Google было обнаружено 4000 страниц из них проиндексировалось штук 100. Остальные найдены, но не проиндексированы, т.к. были пустыми. Теперь...
• Как обеспечить сканирование и индексирование контента, загруженного с помощью AJAX (JavaScript)?
Хочу сделать информацию о проекте в модальном окне. Содержимое окна будет погружаться AJAXом. Как на это отреагируют поисковики? Сканируют ли роботы содержимое таких модальных окон?...
• Как исключить индексацию страниц и достаточно ли прописать rel nofollow?
Подскажите, достаточно ли прописать rel nofollow ссылкам фильтра товара, чтобы ПС отстал от них или их нужно совсем как-то скрывать чтобы их не было в...
• Возникнут ли проблемы с индексацией, если около года сайт не обновлялся и как исправить ситуацию?
Могут ли быть у старого сайта проблемы с индексацией, если им не занимались примерно год? На сайте не проводились никакие работы в течении одного года,...