Как можно определить, какие страницы выпали из индекса?

Ответ

Описанная вами ситуация, которая произошла в мае, похожа на Google Core Updates. Этот апдейт связан с качеством страниц. Прежде всего проверьте:

• Не закрыты ли от индексации важные разделы через noindex или robots.txt.
• Если на сайте много похожих статей под ситуативный спрос, Google мог оставить одну, а остальные исключить из индекса.
• Контент не несёт ценности, и Google пометил страницы как «Страница просканирована, но пока не проиндексирована».

1️⃣ Один из косвенных методов определения, какие страницы выпали из индекса, — использование расширения для Google Таблиц Search Analytics for Sheets. Выгрузите список страниц с кликами или показами за апрель (до падения) и за май. Сравните их через VLOOKUP (ВПР). Те страницы, которые имели показы в апреле и получили 0 или просто вылетели из списка в мае, и есть выпавшие. Метод имеет погрешности: выгрузка всё ещё ограничена 25 тыс. строк в бесплатной версии.

2️⃣ Второй способ — использование инструмента Screaming Frog. Подробнее про этот метод — здесь. Загрузите в программу список всех своих URL (из базы данных или старой карты сайта) в режиме List Mode. Подключите API Google Search Console в настройках (Configuration – API Access) и запустите сканирование. После завершения перейдите на вкладку Search Console. Отфильтруйте страницы, у которых статус в GSC — Not indexed или где показы упали до нуля. Программа сопоставит реальный скан сайта с данными из индекса Google.

3️⃣ Также существуют платные сервисы для лог-анализа и контроля индексации в интеграции с GSC, например JetOctopus.

Еще по теме:

• Пустые категории сайта: влияние на ранжирование, закрытие от индексации, удаление
На сайте есть пустые категории (довольно много) без карточек товаров. Как лучше поступить? Закрыть их от индексации, или оставить до момента заполнения? Если их закрыть...
• SEO-оптимизация сайта на React: как обеспечить правильное индексирование
Какие методы продвижения больше всего подходят реактивным сайтам, на которых настроен рендеринг? Ответ Таким сайтам подходят стандартные методы продвижения после того как вы решите вопрос...
• Нужно ли прописывать user_agent follow на сайте для правильного индексирования страниц?
Нужно ли прописывать user_agent follow на сайте, или достаточно просто ничего не писать и user_agent Google будет правильно сканировать sitemap? Ответ Для нормального индексирования страниц...
• Почему статья спустя время может перестать индексироваться в Google?
Почему статья спустя время может перестать индексироваться? Часть статей вылетела из Google, при этом статьи перестали считаться уникальными, сервисы проверки уникальности показывают статьи, которые вышли...
• Как ускорить индексацию страниц сайта после полного запрета?
Клиент запретил индексировать весь сайт в Robots.txt. Отменили и поправили всё, но похоже не помогло. Как отменить эффект запрета от индексации и помочь ПС индексировать...