Как можно определить, какие страницы выпали из индекса?

Ответ

Описанная вами ситуация, которая произошла в мае, похожа на Google Core Updates. Этот апдейт связан с качеством страниц. Прежде всего проверьте:

• Не закрыты ли от индексации важные разделы через noindex или robots.txt.
• Если на сайте много похожих статей под ситуативный спрос, Google мог оставить одну, а остальные исключить из индекса.
• Контент не несёт ценности, и Google пометил страницы как «Страница просканирована, но пока не проиндексирована».

1️⃣ Один из косвенных методов определения, какие страницы выпали из индекса, — использование расширения для Google Таблиц Search Analytics for Sheets. Выгрузите список страниц с кликами или показами за апрель (до падения) и за май. Сравните их через VLOOKUP (ВПР). Те страницы, которые имели показы в апреле и получили 0 или просто вылетели из списка в мае, и есть выпавшие. Метод имеет погрешности: выгрузка всё ещё ограничена 25 тыс. строк в бесплатной версии.

2️⃣ Второй способ — использование инструмента Screaming Frog. Подробнее про этот метод — здесь. Загрузите в программу список всех своих URL (из базы данных или старой карты сайта) в режиме List Mode. Подключите API Google Search Console в настройках (Configuration – API Access) и запустите сканирование. После завершения перейдите на вкладку Search Console. Отфильтруйте страницы, у которых статус в GSC — Not indexed или где показы упали до нуля. Программа сопоставит реальный скан сайта с данными из индекса Google.

3️⃣ Также существуют платные сервисы для лог-анализа и контроля индексации в интеграции с GSC, например JetOctopus.

Еще по теме:

• Каким должно быть оптимальное количество внутренних ссылок на странице?
Есть ли рекомендация насчёт количества внутренних ссылок на странице? Читала, что не рекомендуется больше 100 внутренних ссылок. Однако, есть примеры, уверенно занимающие места в ТОП-10,...
• Что делать, если успешный ранее новостной агрегатор не работал несколько месяцев, потеряв половину страниц из индекса?
Был англоязычный новостной агрегатор, который проработал полтора года, набирал аудиторию, получал естественные бэки с жирных и средних сайтов. В индексе Google было 1М страниц. В...
• Почему страницы со временем могут удалятся из индекса поисковых систем?
По каким причинам страницы могут исключаться из индекса, если до этого страницы нормально индексировались? Ответ Основные причины, которые влияют на выпадение страниц из индекса. Технические,...
• Как ускорить процесс индексирования беклинков в Google?
Чем прогнать беклинки, чтобы Google начал их учитывать или заметил их? Ответ Чтобы Google заметил беклинки на ваш сайт, он должен их проиндексировать. Чтобы ускорить...
• Как увеличить скорость индексирования сайта в Google?
Гугл проиндексировал 165 страниц из 2520, одно время максимум было в индексе (в GSC) 500 страниц, но происходит постоянное наполнение интернет-магазина товаром и всё больше...