Как можно определить, какие страницы выпали из индекса?

Ответ

Описанная вами ситуация, которая произошла в мае, похожа на Google Core Updates. Этот апдейт связан с качеством страниц. Прежде всего проверьте:

• Не закрыты ли от индексации важные разделы через noindex или robots.txt.
• Если на сайте много похожих статей под ситуативный спрос, Google мог оставить одну, а остальные исключить из индекса.
• Контент не несёт ценности, и Google пометил страницы как «Страница просканирована, но пока не проиндексирована».

1️⃣ Один из косвенных методов определения, какие страницы выпали из индекса, — использование расширения для Google Таблиц Search Analytics for Sheets. Выгрузите список страниц с кликами или показами за апрель (до падения) и за май. Сравните их через VLOOKUP (ВПР). Те страницы, которые имели показы в апреле и получили 0 или просто вылетели из списка в мае, и есть выпавшие. Метод имеет погрешности: выгрузка всё ещё ограничена 25 тыс. строк в бесплатной версии.

2️⃣ Второй способ — использование инструмента Screaming Frog. Подробнее про этот метод — здесь. Загрузите в программу список всех своих URL (из базы данных или старой карты сайта) в режиме List Mode. Подключите API Google Search Console в настройках (Configuration – API Access) и запустите сканирование. После завершения перейдите на вкладку Search Console. Отфильтруйте страницы, у которых статус в GSC — Not indexed или где показы упали до нуля. Программа сопоставит реальный скан сайта с данными из индекса Google.

3️⃣ Также существуют платные сервисы для лог-анализа и контроля индексации в интеграции с GSC, например JetOctopus.

Еще по теме:

• Как уменьшить потерю трафика после смены урлов товаров в ключевых категориях?
Из-за технической ошибки (при импорте файла с товарами на сайт) изменились урлы у товаров в ключевых категориях. Редиректы на новые адреса настроились на сайте автоматически....
• Что делать, если статья на сайте не индексируется больше месяца?
Вопрос по поводу индексации. Если я разместил статью и гугл ее не проиндексировал уже как полтора месяца. Стоит ли ее удалить и заново выставить? Другие...
• Надо ли закрывать от индексации трастовые страницы (Payment, Delivery, Terms of Use, Cookie, Privacy Policy)?
Как думаете, трастовые страницы (например, Payment & Delivery, terms, cookie и privacy policy, др.) нужно делать индексируемыми или лучше закрыть в meta name="robots" content="noindex, follow"?...
• Что делать, если успешный ранее новостной агрегатор не работал несколько месяцев, потеряв половину страниц из индекса?
Был англоязычный новостной агрегатор, который проработал полтора года, набирал аудиторию, получал естественные бэки с жирных и средних сайтов. В индексе Google было 1М страниц. В...
• Как закрыть от индексации страницы фильтрации с частью # в адресе?
Столкнулась недавно с проблемой: у нас на сайте страницы фильтрации имеют адрес с частью #. Можно ли как-то закрыть от индексации такие страницы фильтрации, при...