Как можно определить, какие страницы выпали из индекса?

Ответ

Описанная вами ситуация, которая произошла в мае, похожа на Google Core Updates. Этот апдейт связан с качеством страниц. Прежде всего проверьте:

• Не закрыты ли от индексации важные разделы через noindex или robots.txt.
• Если на сайте много похожих статей под ситуативный спрос, Google мог оставить одну, а остальные исключить из индекса.
• Контент не несёт ценности, и Google пометил страницы как «Страница просканирована, но пока не проиндексирована».

1️⃣ Один из косвенных методов определения, какие страницы выпали из индекса, — использование расширения для Google Таблиц Search Analytics for Sheets. Выгрузите список страниц с кликами или показами за апрель (до падения) и за май. Сравните их через VLOOKUP (ВПР). Те страницы, которые имели показы в апреле и получили 0 или просто вылетели из списка в мае, и есть выпавшие. Метод имеет погрешности: выгрузка всё ещё ограничена 25 тыс. строк в бесплатной версии.

2️⃣ Второй способ — использование инструмента Screaming Frog. Подробнее про этот метод — здесь. Загрузите в программу список всех своих URL (из базы данных или старой карты сайта) в режиме List Mode. Подключите API Google Search Console в настройках (Configuration – API Access) и запустите сканирование. После завершения перейдите на вкладку Search Console. Отфильтруйте страницы, у которых статус в GSC — Not indexed или где показы упали до нуля. Программа сопоставит реальный скан сайта с данными из индекса Google.

3️⃣ Также существуют платные сервисы для лог-анализа и контроля индексации в интеграции с GSC, например JetOctopus.

Еще по теме:

• Как можно скрыть от индексации меню и часть категорий на странице?
Как можно скрыть от индексации меню? Есть сайт с большим выпадающим меню. Как скрыть часть категорий, чтобы они не участвовали в текстовом анализе на странице?...
• Нужно ли закрывать от индексации файлы json?
Нужно ли в wordpress закрывать от индексации файлы json в robots.txt? Или они нужны для корректного видение страницы поисковиками? Ответ Файлы JSON стоит закрывать от...
• Почему статья спустя время может перестать индексироваться в Google?
Почему статья спустя время может перестать индексироваться? Часть статей вылетела из Google, при этом статьи перестали считаться уникальными, сервисы проверки уникальности показывают статьи, которые вышли...
• Индексируют ли поисковые системы содержимое iframe и как именно?
Индексируют ли поисковые системы содержимое iframe и как именно? Ответ В ряде случаев Google может индексировать содержимое iframe, например, если содержимое iframe является важным для...
• По каким причинам тестовый сайт мог попасть в индекс и что делать в таком случае?
Делали запуск нового сайта и через время заметили, что в поиске появился тестовый сайт. Проверили - в роботс стоит игнор. Как так могло выйти, что...